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第一章初等概率论 
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3. 事件及其关系和运算 （8) 
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某些经典樓型和分布 （16) 
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3. 多元超几何分布 （20) 

4. 斯特林公式 （21) 

5. 练习题 （21) 


条件槪率.独立性 （23) 

1. 事件的条件概率 （2$ 

2. 全概率公式和乘法公式 （24) 

3. 贝叶斯公式 （25) 

4. 独立性 （27) 

5. 全体独立和两两独立 （28) 
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6. 伯努利概型 （28) 

7. 练习题 （30) 


4随机变量及其特征 （31) 


1. 随机变量及其概率分布和分布函数 （31) 

2. 独立随机变量（ 34 ) 

3. 随机变量之和的概率分布 （35) 

4. 数学期望 （35) 

5. 数学期望的基本性质 （37) 

6. 随机变量函数的数学期望 （39) 

7. 方差和标准差 （39) 

8. 最优线性估计 （41) 

9. 练习题 （42) 


伯努利概型 I . 大数定律 （44) 


1- 伯努利概型 （44) 

2. 大数定律的意义 （49) 

3. 观测次数 （49) 

4. 熵 （50) 

5. 用概率方法证明维尔斯特拉斯定理 （53) 

6. 练习题 （54) 


伯努利概型 II . 极限定理（棣莫弗-拉普拉斯局部定理、泊松定理 ）（54) 

1. 棣莫弗-拉普拉斯局部定理 （54) 

2. 棣莫弗~拉普拉斯积分定理（骀） 

3. 二项概率的正态逼近 （61) 

4. 泊松定理（似） 

5. 棣莫弗-拉普拉斯定理与大数定律 （63) 

6. 正态分布 (64) 

7. 成功频率对概率的偏差满足一定要求的试验次数 （65) 

8. 练习题 （68) 


伯努利概型中“成功”概率的估计 （69) 

1. “成功”概率估计的概念和性质 （69) 

2. “成功”概率的置信区间 （71) 

3. 练习题 （74) 
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关于分割的条件概率与条件数学期望 （74) 

I 

1 • 条件概率（ 74 ) 

2. 条件数学期望 （76) 

3. 关于 E ⑷义）和 E ⑷级 ）（81) 

4. 练习题 （81) 


随机游动 I . 掷硬币博弈的破产概率和平均持续时间 （82) 

1. 关于随机游动 （82) 

2. 二人博弈和破产概率 （82) 

3* 〜 ㈤ 和 0 n ( x ) 收敛于 Q ；( a :) 和 P ( x ) 的速度 （87) 

4. 平均游动时间 08) 

5 . 练习唐（奶） 


§10随机游动 n . 反射 原理. 反正弦定律 （92) 

1. 质点首次返回0的时间 （92) 

2. 反正弦定律 （97) 

3. 练习题 (100) 


§11鞅.鞅对随机游动的某些应用 ( 100 ) 

1. 引言 (100) 

2. 鞅的定义和例 (100) 

3_停止时间 (102) 

4. 停止时间的应用 (103) 

5. 练习鹿 （106) 


§12马尔可夫链.遍历性定理.强马尔可夫性 (107) 

1* 马尔可夫链 (107) 

2. 柯尔莫戈洛夫-査普曼方程 (112) 

3. 通历性 (115) 

4. 马尔可夫链的大数定律 (117) 

5. 游动时间的概率和期望的递推方程 (120) 

6. 强马尔可夫性 (124) 

步的转移概率; 4 n) (126) 

8. 练习题 (127) 
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章初等概率论 


我们把只涉及有限个事件概率的，那一部分概率论称做 初等概率论 


A . H . 柯尔莫戈洛夫，《概率论的基本概念》 [32] 


§1. 有限种结局试验的概率模型 


1. 基本事件 空间① 考虑某项试验，其结果在某一组条件（“ 条件复 形”）下由有 

WN 描绘.关于这些结局的实际本性并不重要，重要 


限种不同的结局（现象） 

的是不同结局的个数 iv 是有限的.我们把这些结局⑽，…， a ;# 称做基本事件，而把 


山1， 


■ ♦ * 


切结局的全体 


■■II* 




称做（有限）基本事件空间，或样本空间 

引进基本事件空间的概念，是形成不同试验的概率模型（概率的理论）的第一步 
下面是描绘基本事件空间构造的几个例子. 

例1 对于“掷一枚硬币”，基本事件空间由两个点 组成： 


* 


D = {Z ， F }， 


其中 Z 表示出现“正面”，而 F 表示出现“反面”.（这时假设，诸如“硬币在棱上立 
着”，“硬币丢失 

例2 将一枚硬币重复掷 n 次，基本事件空间为 


的情况不会出现.假设不出现“正面”就出现“反面 


11 


， an)}，flf = Z 或 F ， 


Q = {ou 


= (ai ， 


且基本事件的总数 N ( Q ) = 2 n . 

_ 

例3首先掷一枚硬币.如果硬币掷出正面 Z ， 则掷六面分别刻有1，2,3,4,5,6个 
点的 色子; 假如硬币掷出反面 F , 则再掷一次硬币.那么，该试验的基本事件空间为 


ft = { Z 1, Z 2, Z 3, Z 4, Z 5, Z 6, FZ ， FF }, 


其中 Z 表示硬币掷出“正面”， F 表示硬币掷出“反面”，而1，2,3,4,5,6表示色子掷出 
的点数. 


@原书个别“小节”有“标题”.为便于读者使用，在没有标题的“小节”，我们特别加上了标題. 


译者 






有限种结局试验的概率樓型 




注在讲概率论时, 一 般不提“试验在一组条件下进行”，而默认这样的“条件” 
存在.然而，这样的“条件”即便对于初等概率论也很重要，不同的“条件”对同一试 

验，也可导致完全不同的概率模型和概率的理论.（参见下文的第3小节‘‘事件的关 
系和运算”开头关于这个问题的说明 .） 

随机抽样与随机分配现在研究更复杂一些的例子，这些例子讨论自含 M 
个不同球的箱子中，抽取 n 个球的不同方法. 

例4放回抽样.如果每次将抽到的球在下一次抽球前放回箱中，则试验称做 
放回抽样.这时，由 n 个球形成的每一个样本可以表示为向量 （ ai ，… , a n ), 其中 
aS = 1,2,…， n ) 是第 i 次抽到的球的编号.易见，对于放回抽样，每个叫可以是 
1，2,…， M 等 M 个数中任何一个数.基本事件空间的描述，本质上与如下情形有 
关： 诸如（ 4 ,1， 2 ,1)和 (1,4,2,1) 是认为是不同的基本事件，还是同一基本事件.因此， 

习惯上区分两种 情形: 有序抽样和无序抽样.在前一种情形下，由同一些元素组成的 
两个样本,只要其中元素的前后顺序有所不同,就视为不同的样本.在后一种情形下， 
不管元素的顺序，只要由同一些元素组成的样本，都视为同一个样本.为强调具体的 
样本究竞是哪一种，对于有序样本,我们将使用记号 （ ai ，… , a n ), 而无序样本则记作 
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[ai ， …, a n ] 


于是，放回有序样本的基本事件空间 Q 具有如下构造 


且不同结局（样本）的个数，等于1 


( fll ， * * • ， = 1 ， 2 , • * _， Af }， 


: UJ 




N(Q) = M n ， 

即组合分析中的自 M 个元素中选 n 个且允许重复的置换的总数. 

放回无序样本.即排列组合中的 

总数”，其基本事件空 间为： 


( 1 ) 


M 个元素中选 n 个且允许重复的组合的 


U 


== 1，2,… ， M }. 

易见，不同的无序样本总数 N ( Q ), 小于有序样本总数.现在证明，不同无序样本总 


Q = {u 


m) = c n M 

其中 Ci 是自 fc 个元素 中取/ 个的组 合数： 


( 2 ) 


k\ 


C 


我们用数学归纳法证明.以 iV ( M ， n ) 表示我们感兴趣的结局的个数.易见，对 

于 一 切 k ^ M , 


释， l) = k = Cl 





第一章初等概率论 


现在假设 N ( k , n ) = C ^ + n ^( k ^ M ), 并且证明，如果将 n 换成 n + 1 此式仍然成立. 
对于无序样本 [ ai ； ••- , a n ], 可以认为其顺序按不减顺序 排列： ^ < a n+1 . 

显然，无序样本的个数,当〜=1时为 N { M , n ); 当心= 2时为 N ( M - l , n ); 依次 

类推，得 


JV ( M，n + 1) = N ( M , n ) + N(M — l ， n ) + …+ AT ( l ， n ) 

H - + CJJ 


+ CX / 

_ ff^n+1 一 |^tn+l \ t z^in+1 

— K^M+n ~ lAf+n-1 ) 十 

CS ) + cs = CO 


= c 


n 


Af + n —1 


— 1+ ti —1 


_ pn +1 

— ijVf—1+n-l 


1+n 


n+1 

n+1 


+ * … + (C 




其中用到二项式系数的如下性质 


+ cjj = cjj +1 


cr 


k 


这一等式，是由帕斯卡 （ B . Pascal ) 三角形计算二项式系数的基础，很容易证明. 

例5 不放回 抽样. 假设 n < M ， 且凡是抽到的球都不再放回.这里，也考虑两 

种可能的抽法 .• 有序抽样和无序抽样. 

对于不放回有序抽样（组合分析中称做自 M 个元素中选 n 个的有序无重复排 
列)，其基本事件空间为 


Q = {oj : Ci ； ~ (ai, • 


， a n )， ak 參 a“k 寺 1，ch = 1 ， 2 ,…， M }， 


而 Q 中的元素的总数等于 M(M - 1) … (M - n + 1). 将此数记作 （ Af )„ 或 A &， 称 
做“自 M 个元素中选 n 个的排列数 

对于不放回无序抽样（组合分析中称做自 M 个元素中选 n 个无重复的置换)， 
其基本事件空间为 




— {w : w = [fl 1 ， 


, a n , afe ^ di，k # l，di = 1 ， 2, • • • ， iVf }， 


共含 


綱 = Q 


(3) 


个元素.事实上，由 n 个不同元素形成的无序数组[^，…， a n ；|, 可以得到恰好 d 个 

有序数组，从而 


m 


n 


N ( Q ) x n \ = ( M ) n ， N ( Q )= 


= C n M 


n ! 


如果自含 M 个球的箱中选 n 个球，则可以将不同结局的个数归纳为表 1 - 1 
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抽样方式 


不同抽法的总数 


有序 


自含 M 个球箱 
子 n 的 n 次抽样 


放回 


无序 




+n 


有序 


(M) 


不放回 


对于 M = 3 ，n = 2,相应基本事件空间的结构列为表 


抽样方式 


基本事件 _ 

有序 | ( U )( l ， 2)(1，3)(2,1)(2,2 )(2,3)(3, 1)(3,2)(3,3) 

~ [1，1][2,2][3,3][1，2][1，3][2,3] 
(1，2)(1，3)(2，1)(2,3)(3，1)(3,2) 

M [1,3] [2,3] 


自含 M 个球箱 
子 Q 的 n 次抽样 


放回 


无序 


有序 


不放回 


无序 


例 6 按箱分配质点.考虑按箱分配质点问 题:将 n 个质点（小球）分配到 

个箱 中去， 并研究质点分配问题中基本事件空间的构造.问题 产生于统计物 
在研究 ri 个粒子（如质子、电子、. 

假设 M 个箱子 一一 编号为1,2, 

别编号 1 , 2 ,. 

推绘，其中％表示第 i 个质点编号为 ai 的 箱中； 假如 n 个质点不可辨别（完全相 
同)，则它们分配到 M 个箱中完全可以由数组 [ fll ， 

质点分到编号为的箱中. 

比较例 4 和例 5 所讨论的情形,可以得到如下对应 关系： 

_ 

(有序抽样）分（质点可以辨)， 

(无序抽样）分（质点不可辨). 

这种对应关系表示，在“自盛有 M 个球的箱子中抽选《 个球” 的问题中，有序（无 
序）抽样相当于,可辨质点（不可辨质点）分配到 M 个箱中的分配问题. 

下面的对应关系具有类似的 含义： 


M 


，例如， 


) 按 M 种状态的分布 


M ， 而 w 个质点可以辨别（两两不同),且分 
那么， n 个质点分配到 M 个箱子中，完全可以由数组 （ ai ， 




? 


， n. 


_ » 


，江 n) 


« 4 * 


， a n ] 描绘，其中 ai 表示第 i 个 


(放回抽样）分（箱中可容纳任意多质点)， 

(不放回抽样）分（箱中最多可容纳一个质点). 

由这些对应关系，可以建立如下类型的对应 关系： 

(无序不放回抽样）分（不可辨质点按箱分配，且每箱最多容纳一个质点) 
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等等.由于这些对应关系，就可以在可辨和不可辨质点按箱分配问题中，利用例4和 
例5描绘基本事件空间,既包括“有抑制”的箱子（最多容纳一个质点的箱子）和“无 
抑制”的箱子（可容纳任意个质点的箱子). 

表1 -3演示按两个箱子分配3个小球的情形，其中“◦”和“•”分别表示白球和 

黑球.如果分到箱中的球不可辨，则用 


表示 


U I ?? 


分配方式 


基本事件 


口 _B 麗□麗 


可辨 


有抑制 


不可辨 


■DO 


自含 M 个球箱 
子 D 中的 n 次抽样 


aum 


5iBlS5ili53IEn 


可辨 


无抑制 


不可辨 


0鼴_ 




对于质点按箱分配问题中，利用上面指出的“抽样”与“分配”之间的对偶性， 

就可以明显地求出分配结局的个数.相应的结果归纳为表1 -4,其中也包含表1 - 1 

的结果. 




1-4 


抽样方式 不同抽法的总数 


分配方式 


有序 


可辨 


放回 


有抑制 


自含 M 个球箱 
子 D 中的 n 次抽样 


自含 M 个球箱 
子 D 中的 n 次抽样 


无序 C 

■ i 序 (M) 


② 


不可辨 


可辨 


不放回 


无抑制 

抽样方式I不同抽法的总数 分配方式 


无序 


统计物理学中，把不满足帕利 （ W . Pauli ) 抑制原理（“每箱中最多容纳一个质 
点”）的不同（不可辨)质点,称做麦克斯韦-波尔茨曼 （ J . C . Maxwell - L . Boltzmann ) 

(物理）统计（见表 1-4 ①)； 有抑制不可辨质点的情形称做博泽-爱因斯坦 [ S . N . 
Bose - A . Einstein ] 统计（见表 1-4 ②).如果质点不可辨但满足抑制原理，则称做弗 
米-迪拉克 （ E . Fermi - P . A . M . Dirac ) 统计（见表 1-4 ④).熟知，例如电子、质子和 

中子都服从弗米-迪拉克统计,光子和 tt 介子服从博泽-爱因斯坦统计（见表 1 -4 

②).此外,在物理学中再没有发现可辨粒子不服从抑制原理的情形. 

事件及其关系和运算 除基本事件空 间的概念外，现在引进重要概念—— 
事件.事件的概念，是建立所考察试验的各种概率模型（“理论”）的基础.在试验的 
结果中，试验者一般并不关心究竟出现了哪种具体的结局，而关心出现的结局属于 


峰 
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一切结局集合的哪个子集.满足试验条件的一切子集 ACil y 分为两种 类型： “结局 
e ，或“结局^拿 4”. 我们称这样的子集 A 为事件. 

例如,将一枚硬币重复掷三次,一切可能结局的空间 a 由8个点 构成： 




n = { ooo , ooi , oio , on , loo , 101 , no , m }, 


其中 0 和 1 分别表示掷出“正面”和“反面”.如果由“一组条件”可以记录 (确定 
测童等）所有3次掷硬币的结果，则例如 


A = {000,001，010, 100} 


就是事件：“将一枚硬币重复掷三次”正面至少出现两次.假如由“一组条件”只能 
确定第一次掷出的结果，则>1已经不能称为事件，因为关于“试验的具体结局0；是 
否属于4”，既不能肯定也不能否定. 

从给定的作为事件的某一组集合出发，经过某些变换可以形成一些新事件.这些 

变换，可以用逻辑的语言表述为“或”、“与”、“非”，而用集合论的语言表述为“并 




交，，和“补 


并对于两个集合4与尽称 


G A ^ G By 


AU B = {u eQ 


: (Jj 


为集合 4 与 S 的并，表示由属于集合4或 B 的点形成的集合.用概率论的语言， 
A [ JB 表示事件 { 事件4与 S 至少出现一个 

交称或 


e A K 


An B = {co eQ 


e B } 

为两个集合 A 与 B 的交，表示由既属于集合 4 同时又属于集合 B 的点形成的集 
合.用概率论的语言， Af ] B 表示事件 { 事件4与忍同时出现}. 

例如，如果4 = {00, 01, 10}, B = {11,10,01}, 贝! J 


: U) 


U) 


AUB = {00,01,10,11} = n , AnB ^ {10, 01}. 


补 如果4是的子集,则称 A = { ujen ： Lj ^ A } 为集合4 补， 表示 Q 中不 
属于4的点的集合. 

星属于 B 但不属于 A 的点的集合称做 B 与 A 的差，记作 B \ A . 那么 ，: i 
n \ A . 用概率的语言，:？表示事件“ d 不出现例如，事件4 = {00,01， 10}, 则事件 
A = {11} 表示接连两次掷出反面. 

不可能事件和必然事件 一般用0表示空集.概率论中空集0称做不 可能事 

件,集合 n 自然称做必然事件.集合4和:？没有共同点，因而4门又是空集.① 

①对于事件 A 和 B , 若 AHB ^0 T 则称4和 s 不相容,否则称 A 和 S 相容.——译者 
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和当4与5不相交时 （AB = 0)，集合4与 S 的并称做集合 A 与 B 的和， 
记作 A + B . 

事件代数考虑集合 ACQ 的某个集系 jo , 则利用集合运算 u , n 与\可以 
由构造新集系，其中元素也是事件.给这些事件补充上必然事件 n 和不可能事 
件0,得集系』，则』是代数.所谓“代数”即 n 的这样的集系，满足 

1) n € 

2 ) 若则集合乂 uBMn ^ AVB 也都属于 J . 

由以上的叙述，可见作为事件系最好考虑本身是代数的集系.以后，我们正是考 
虑这样的集系. 

我们列举几个事件代数的例子. 

a) kM = {f2, 0} 

b ) = {^4, A , Q , 0} 

c ) ^ = { A : ACQ } 一 Q 全部子集的集系（包括空集旬 

易见，所有这些事件代数是按下面的原则得到的. 

分割我们称集系 


集系由 Q 和空集0构成，称做平凡代数; 

事件4产生的 集系； 






^ = {D lr - ,D n } 

构成集合 n 的一个分割，而仍,…，凡是该分割的原子，如果仍，…， Ax 非空且 
两两不相容，而它们的和等于仏 


D\ + * • • + JDfi = 


例如,假定集合由3个点构成 : Q = {1,2,3}, 则存在5个不同的分割 


^1 = {^} 


= {1，2, 3}; 

{DuD 2 } D l = {l,2},D 2 = {3}; 






2 


级 3 = {D u D 2 } A = {1,3},D 2 = {2}; 

^4 = {D u D 2 } D ± - {2,3},i^ 2 = {l }； 

^*5 = {D U D 2 ,D 3 } {1} ， U 2 = {2}; Ds = {3} 


(关于有限集合的分割的总数参见本节的习题 2.) 

如果 考虑贫 中一切集合的并连同空集0，则得到的集系是代数，称做赍产生 

的代数，记作 a (贫) . 于是，代数 a ( 贫）的元素由空集0与分割赍之原子中集合的 
和组成. 


这样,如果贫是 f 2 的某一分割,则它与代数方= < j (^) ——对应. 

逆命题也正确•设义是有限空间 n 的子集的代数，则存在唯一分割级,其原 

子是代数义的元素，并且 j = a (^). 事实上，假设集合 翅乞龙 并且具有 性质: 

对于任意 S e 及，集合 Df ) B 要么与 D 重合,要么是空集.那么，这样集合£>的 
全体组成 分割多 并且具有所要求的性质 B = a (^ f ). 对于例 a )， 取只含一个集合 
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的 A = 0平凡分割；对于例 b )， 负= { A , A }. 对于例 c ), 贫是只含一个点的集合 

的最细小分割，即齋产生的代数是 D 的一切子集的代数. 

对两个分割遂^和级 2 ,如果 c a (^ 2 ), 则称 分割谬 2 比分割“细 
小”，记作遂^ 4^2- 

像前面一样,假设空间有有限个点 

成体系 W 的集合的总数.我们证明 N (』）= 2 n . 事实上，每一个非空集合 Ae ^ 
可以表示为4 = { o ^, 

成的序列 


, u N 构成，记 N {^) 为例 c ) 中组 


W l ， 


}(1 ( k ( N )， 其中 a;。e SI . 将该集合与由 0 或 1 形 


， 叫 


(0, …，0,1，0, … ，0,1， …）， 


其中在编号为 i u …， i k 的位置上为 1, 而在其余位置上为 0. 那么，对于固定的 fc ， 

形如4 = {吟， 

N 个位置 ( N 个箱子）不同分法的总数.根据表1 ~ 4的情形④，这样分法的总数等 
于 cl 由此可见 


} 的不同集合的总数等于 k ^ l ( k 个不可辨质点）分配 


，叫 


iV ㈤ =1 + Cjv + …+ CjJ = 2' 


其中包括空集 0. 

槪率空间为建立只有有限种可能结局的随机试验的概率模型（理论)，我 
们暂时完成了最初的 两步： 引进了基本事件空间 a 并建立了 n 子集的某种体系 

代数，其中的子集称做事件.有时把豕=⑹，等同于试验.现在进行下 
一步: 赋予每一个基本事件（每一种结局或现象）叫 e 0(纟=1，…， TV) 某种“权”，记 

作 p (叫）或仍，称做基本事件（结局）咕的概率.假设 p^i) 满足 条件： 

a ) 0 < p ( LUi ) < 1 (非负性)， 

b) p(o ； i) + … +p(c4 ； at) = 1 ( 规范性 ). 

从给定的基本事件叫的概率 p ( u ? i ) 出发，按公式 


4 






?( 乂 ）= E 咖 ) 


⑷ 




定义任意事件的概率 

定义1 通常称 


( M ， P ) 

为“概率空间”，其中 = {^，…，*}, J 是 n 的子集的代数，而 P = { P ( A ) 
j }. 概率空间决定（定义）只有有限种可能结局（基本事件）的，随机试验的概率模 

型（理论 )• 显然， P ({ uJi }) = p ( uJi)(i = 1 ，…_， AO 


A € 


P (0) = 0， 

P ⑼ = 1 ， 

P(A UB )= P ( A ) + P ( B ) - r ( AC \ B ) 


(5) 


⑹ 


⑺ 
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特别，若乂 n S = 0 ，则 


⑻ 


P ( AuB ) = P ( A )- hP ( B ), 


而 


P ( A ) = 1 — P ( A )， 


⑼ 


5. 古典型概率在一些具体的情形下建立概率模型时，给出基本事件空间 S 7 和 

代数 一 般并不复杂.这时，在初等概率论里，一般用 n 的全部子集的代数当做 
代数较困难的问题,是定义基本事件的概率.实际上,对这个问题的回答已经超 
出了概率论的范围，我们不在此过多地讨论这个问题.我们的基本任务，并不是如何 

賦予某一个试验基本事件的概率，而是根据基本事件的概率， 计算复 合事件（义 中 
的事件）的概率. 

从数学观点来看十分清楚,对于有限基本事件空间，只要赋予基本事件 
以满足 Pl +…+ P 7 V = 1的非负实数 

(有限的）概率空间. 

对于具体的情形，所确定的数值的正 确性， 可以一定程度地利用以后将要介绍 
的大数定律来 验证.在上述情形下，根据大数定律，对于给定的在相同条件下进行的 
较长“独立”试验系列,基本事件出现的频率“十分 接近” 它们相应的概率. 


0；1, 


•，: PiV ， 就可以得到一切可以想象的 




Pi , 


鉴于赋予试验基本事件以概率值的困难，我们指出，存在许多实际情形，在这些 

情形下由 于对称性或均衡性的 直观，把一切可能出现的基本事件视为 等可能 的是合 
理的.因此，假如基本事件空间由点 


构成，其中 TV < 00 ,贝！1 


o ； i ， - 


p(^l) =…= p(uj n ) = 


N J 


从而对于任何事件4 




( 10 ) 


N 


其中 N ( A ) 是事件 A 所含基本事件的个数. 

这样求概率的方法称做 古典型 方法.显然，这时求概率 P (4) 归结为计算导致 

事件4的基本事件的 个数. 这一般 用排列组合的 方法来实现.因此，在涉及有限集 
合的概率的计算中，排列组合的方法占有重要的地位. 

例 7 重合问题. 假设箱中有 M 个球，分别编号为1,2,…， M . 进行 n 次放回 

抽样,并且认为样本是有序的.显然，这时 


Q = {a; 


(ai ，‘ • _，= 1 ， ’ _ • ， } ， 


: U ) 




而 N ( Q ) = 根据古典型概率的求法，认为所有 TkT 个结局是等可能的，提出下 

面的 问题: 事件 


A = i ^ dj , % ^ J } 


有限种结局试验的概率模型 




的概率如何？即事件“抽到的元素无重复”的概率如何？显然 


N(A) = M(M - 1) … （M — n + 1) = (M ) n ， 


因此 


( M ) 


2 


n — 1 


P ⑷ 


( 11 ) 


M n 


M 


M 


M 


该例题有如下有趣的解释、假设某一班中有 n 名学生，每个学生的生日在一年 

365天中每一天是等可能的.问 “ n 个学生中至少有两人的生日在同一天”的概率 

P 3 6 5 ( n ) 如何？可以把“选择”生日，视为在365个球中任选一个球，则根据 （11) 式 


(365) 


尸 365( 打）=1 — 


365 n 


对于某些 n 3 下表列出了概率 P 3 6 5 ( n ) 的值 


16 


40 


64 


70 


100 


P36s(n) 0,016 36 0.283 60 0.475 69 0.507 30 0,891 23 0.997 11 0.999 16 0.999 999 69 


对于充分大的 M , 


n-1 


(M) 


n(n — 1) 

2M ’ 




M n 


M 


fc — l 


fc=i 


亦即 


(M) 


- 1 ) 


P M (n ) 三 1 


[ 三 ⑻]， M 

下面是函数 P 365 ⑻的图形.在相同的尺度下，戶 365( …逼近的图形实际上与函 
^365 ( n ) 的图形相重合.在区间 [0, 60] 的范围内二者的最大差别近似等于 0.01( 在 

= 30的邻域内). 


1 — e 




— ^ oo 






M n 


n 


o.oi 


0,8 


0,008 

0,006 

0.004 

0.002 


0.6 


0,4 


0.2 


10 20 30 40 50 60 n 

尸365(几）和 P 365( n ) 图形 


10 20 30 40 50 60 n 

P 36 ^( n ) — 丹65 ㈤ 图形 


有趣的是，（和期望的相反!）当一个班的人数并不是太多，只有23名学生时， 

个学生中至少有两人的生日在同一天”的概率就已达 1/2. 

例8抽彩.考虑按如下规则的抽彩.假设总共有 M 张编号为1，2,…， M 彩 

票，其中编号为 1， 2,… ， n ( M 彡 2 n ) 的中彩. 一 人买了 n 张彩票，问至少有一张中奖 
的概率（记作 P ) 如何？ 


n 






第一章初等概率论 


14 


由于抽取彩票的顺序,对于所购买的彩票是否中奖无意义，所以可以认为基本事 
件空间有如下 结构： 


SI = { a ; : oj = ai , 


，， flfc _ fc ^ /， = 1， * • ，， Af } 


由表 1 - 1 知 iV ( Q ) = 现在假设 


乂 o = {w : w pi , • • * ， ^ dfc 7 ^ — Z ， 


+ 1， •…， Af } 


n 




是事件“所买的彩票中没有中奖的' 仍然由表1 - 1知 N ( A 0 ) = C ^ n . 因此， 


(M — n ) 


d-AH 1 


n 


Af — n 


n 


P ( Ao )= 






( A /) 


C 


T1 


M — n + 1 


M 


n 


n 


P = 1 — P(.4o) — 1 






M - n + 1 


如果 M = n 2 且 


则 P (^ o ) 


n —> cx ), 


1 — e — 1 w 0,632, 


P 


其中收敛的速度相当快：当 

练习题 

1 . 验证运算 n 和 u 的下列性质的正确性： 

交换律: A]JB = B \ JA , Af]B = Bf ] A ; 

结 合律： A { J ( B \ JC )=^ ( A ( jB ){ JC , Af ]( Br ] C ) = (乂门丑) 门 

分配律 ：a c\(b u 夕 ）= m n 丑) u(d n 夕)，乂 u(b n ^) = (^ U 5) n (^ u ^)； 

幂等性： A\JA = A , Af]A = A ； 

对偶律 :：? = = 

2. 设集合 Q 含 N 个元素.证明不同分割的贝尔 （ A . G . Bell ) 数 By 决定于 


10时，概率已 经为尸 = 0.670 


n = 


IV 


oo 


uN 

V — 

^ ki 


Bn = e 


( 12 ) 


fc 二 1 


提示证明 


N-l 




k 


Bk, Bq = 1 , 


N-l 


fc =0 


然后证明 （12) 式满足上面的递推公式 

3,证明，对于任何有限集合系山， 


，人，有 （概率的半可加性) 


P(4i U … U A n ) < P (> li ) + … + P ( A n ). 



有限种结局试验的概率横型 


4 .设 A 和 5 是任意二事件,证明，表示事件 M 和忍 中必出现一个 
且只出现一个”，并且 


P(ABU BA ) = P ( A ) + P ( S ) — 2 P { AB ) 


5 . 设有土，…，人，而量 S 0 , S U 

S r = J2^(A kl 


, S n 决定于如下关系式： S Q = 1 ， 


r \ A kr ), 


n 


n ， 


• # _ 




其中对集合 { 1 , 2 ，- 

( 1 ) 设表示事件“在禹，…， A 中必出现一个且只出现 一个' 证明 


} 的无序子集人= [ fci ，… , k r ]( ki ^ k j 7 i ^ j ) 求和 • 


，n 


72 


P(^m) = ^(-l) r ~ m C^5 r 


r=m 


特别，对于 m = 0 , 


P (^ o ) = 1 — 5 ^ + 5^2 — * ••土 

，人中有 m 个同时出现”的概率等于 


(2) 证明， 


1 ， 


» • 


n 


p ( s m ) + …+ p ( B n ) = E i - iy ^ c^Sr 


r—m 


特别，“土， 


, A n 中至少出现一个”的概率等于 


* 暑 


P (石 1 ) + …+ P ( B n ) = & 一 馬 + • ••干 5 ^* 


( 3 ) 证明下列 性质： 

( a ) 邦弗尔罗尼 ( Bonferroni ) 不等式①：对于任意= 1 ， 2 ,…，( 2 左彡 n ), 有 


n 




Si — 52 + 


— S 2 k ( P 


Si — 为 + … + S 2 k - l \ 


* • • 




( b ) 庞加莱 （ J _ H . Poincare ) 恒等式 


n 


n 


U 木 = E (— 『呔; 


p 


( c ) 弗雷歇 （ M . FVeshet ) 不等式 


^ r+l ^ S r 


， （r = 0, 1 


，n — 1); 


C r+r ^ C r 
In 


• • • 


①见 W- Feller, An Introduction to probability theory, V. I, ch. IV. - 译者 
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( d ) 冈贝尔 （ E . J _ Gumbel ) 不等式: 


r^r+1 c 广 r c 

_ ^ r+1 ^ — 

^ ~c 


，（厂=1，2, 


1)； 


, n — 


* 番 _ 


r— 1 




n —1 


6. 证明 P ( Af ) Bf ) C )^ P ( A ) + P { B ) + P ( C ) - 2, 并用归纳法证明 


n 


n 


门次》 EP ( 為 ） - （ n-1) 


P 


7. 在关于 n 和 M 不同类型（类型 ： n = xM，M — oo 或 

中 X 固定）的假设下，讨论例7中概率 P M ( n ) 的渐近性.将结果与§6中的局部极 

限定理进行比较. 


推 、 M 


其 


n — x 


—► 00 , 


§2. 某些经典模型和分布 


1. 二项分布假设将一枚硬币接连掷 n 次，观测结果用有序数组 ( a u …， a n ) 

1，当第 i 次掷出现反面时化= 0. 基本事 


表示，其中，当第〗次掷出现正面时 




件空间具有如下 形式: 


0或 1} 


U — {uj : to = ( a !， …， a n )， 


(h = 


赋予每一个基本事件 u ; = (^， • _ ■ ， 〜） 概率（权重) 


y : /7^ — 》: 


PM = P 


Q 


其中 p 和 g 非负且 p + g = 1. 首先证明，这样定义概率（权重) p ( u ;) 是合理的.为此， 

只需验证 


pm = 


uj G 


考虑所有满足 


E 


ax = A ;, (fe = 0,1， • • * ， n ) 


的基本事件 
这样的基本事件个数等于 Ct 因此 


(化，… ， a n ). 根据表1 - 4 ( fc 个不可辨的“1”分配到 n 个位置上), 


U ) 




n 




k p k q n ~ k 


= (/> + ^) 


n 




fc —0 


设 j 是空间 n 的一切子集的代数 ，在乂 上定义了 概率: 

p (^) = E p ( cj ), A e 乂， 


ujGA 
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其中 P ( M )= pH , u ； ef ], 从而定义了一个概率模型.自然称做描绘 n 次掷 硬币的 

概率模型. 


1 时，基本事件空间仅含两个点 a ; = 1 (“成功”）和 a ; = 0 (“失败”)，而概 

率 p ( l ) = p ， 自然称做“成功的概率以后，我们将看到，作为 n 次“独立”试验的 
结果，可以得到由上面讨论的描绘 n 次掷硬币的概率模型,其中 p 是每次试验成功 

的概率. 


当 


n = 


事件 


Q*ri = Al}， == 0, 1 ， 


Ak = {uj 

表示恰好 fc 次“成功”.由以上的讨论，可见 


(<21，…， a n ), ai + 


， n ， 


: u 




♦ » * 


* • 4 


，且 E p (4) 


p ⑹ = cbV_ fc 


⑴ 


fc —0 


概率 ( P ( Ao ), P (^ i ), •• - , P ( A 0) 组称做二项分布（在容童为 n 的样本中“成功 
的次数服从二项分布). 

二项分布在概率论中起着十分重要的作用，出现在多种不同的概率模型中.记 

P n ( k ) = P ( A fc ), fc = 0,1, • 

对于 p = 1/2 ( 掷‘‘对称”硬币）的情形，当 n = 5,10,20时，图1是二项分布的示意 


,72 






0*3 


0.2 


0.3 


0.2 


0,1 


8 10 12 


15 


0 


5 


1二项概率的示意图 （n = 5,10, 20) 


我们再引进一个（实际上与上一个等价的）模型，它描绘某一质点的随机游动 

假设质点从0出发，经过单位时间向上或向下移动一步（图 2). 
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于是，经过 n 步质点最多向上移动 n 步或向下移动 n 步.显然，质点运动的每 

一条“轨道” 0 ；，可以完全由数组 ( a !,-. - , a n ) 描绘，其中当质点在第 i 步向上移动时 

1 . 賦予每条“轨道” 0；以概率， 


=+1，而当质点在第 i 步向下移动时 


di 


= — 


P(uj) = q n ^\ 

其中 u { uj ) 是数组0； = ( ai , • •. ,如）中“+1”的个数，即 

(ai + …+ a n ) 4- 


n 


Z /( CJ ) 




2 


而 P 和 g 非负且 p -\- q ~ 1. 由于 


= 1， 




可见概率组 { p ( cj )}, 连同轨道0； = (^， •• - , a n ) 的空间 n 及其子集，确实决定质点 
步运动的概率模型. 

现在提出另一个 问题： 事件小“质点经 n 步到达纵坐标为 fc 的点”的概率如 
何？ 一 切满足 v { uj ) - [ n - u { u )\ = k , 即满足 


n 


n + 


(w) 


2 


的轨道都满足上面提出的条件.这样轨道的条数等于 C ^ +k)/2 (见表1 - 4)，因此 

PiAk) = C^ +fe)/ V n+fc)/2 9 (n_fc)/2 - 


于是,可以认为二项分布 {P (尤 n ) ，…， P (為 ))，…， P (^ n )}, 描绘质点移动 n 步 

后位置的概率分布.特别,对于“对称”（即 p = g = 1/2) 的情形，每条轨道的概率等 

于 2_ n ，故 


P ( A k ) = c ( ^ + k )/2 2- n . 

时这些概率的渐进性质. 

如果移动步数等于 2 n ， 则由二项式系数的性质可见，在概率 P (^)(| A :| < 2 n ) 中 
最大概率为 


下面讨论当 


n — ^ 00 


—2n 


P(A>) = CJ n 2 
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由斯特林 ( J . Stir ling ) 公式 *)( 见⑹式) 


Til V 2irne 一 




n 


所以 


(2n)l 2 2n 

(n!) 2 


n 


c 


2n 一 


即对充分大的 


n, 


P ( Ao ) 








对于质点移动 2/ z 步的情形，图 3 是产生二项分布的示意图（注意，与图2不同， 

时轴是铅直的，并且正向朝上)， 


多项分布推广上述模型，假设基本事件空间有如下构造 




= { 




， 6 r } 


iO : (Jj 




其中 b u ." A 是给定的数，设是序列 = ，- 

元素的个数，而基本事件的 w 概率等于 


) 中等于= 1，…， r ) 




^1 ( w ) 


p 7 {u) \ 


pM = Pi 


其中货 > o,Pi + 


1. 注意， 


+ Pr 




• 4 * 


= 


E 


CnW ，… ，《 r )j?X ， 


w € S "2 


ni > 0,… , n^r ^ 0 

fii + …， + ti r = 1 


) 关系式 /( n ) 〜 g ( n ) 表示 f ( n )/ g ( n ) 1( 


* 


) 
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和式中以 C n ( m ，. . .， n r ) 表示有序数组，心）的个数，其中元素\重复 

次，.…元素卜重复 7 V 次.因为，有 cy 种方法将〜个元素卜安排在 n 个位置上， 

有 C ^_ ni 种方法将 n 2 个元素 fe 2 安排在 


打 1 


个位置上，等等，所以 


n — rt\ 


C n ( m ，…， n r ) = C ? C ：： 2 _ 

n\ 


n 


c 


n-(nxH - hn r _i) 

(n — nj)! 
- n x 


— 打 1 


n ! 


x 


x 


ni!(n — n x )! U 2 \{n 


ni ! 


— n2 )! 


n T 


» * * 


因此 


n\ 




E 


Pi 1 … = (pi + - • + Pr) n 


1， 




ni ! … n r ! 




ni > 0,…， n r > 0 

ni + * … + n r = 1 


于是，多项分布确实是概率分布 


设 


={(V : Pi(w) = ni ， … ， ^ r (u；) = n r } y 


^ ni , … 




则 


)=C n (ni ，… ,rir)^ 1 … 卩 ? 


P ( Ani ， … 

概率组 ( P ( yi ni ,.., nr )} 称做多项分布. 

注意，多项分布及其特例——二项分布的产生与放回抽样相联系. 

3. 多元超几 何分布出现在不放回抽样中. 

作为例子，假设一箱子中有编号为 1,2,... , M 的 A / 个不同的球,其中 Mi 个 
球具有颜色 h , …具 个球具有颜色 6 r ，且+…+ M r = 现在从箱中进行 

n(n < M ) 次不放回抽样.基本事件空间为 


( 2 ) 


71 


r 


Q = {cj : uj 


(ai ， … ? a n ),a* + ai、k + l\ai 二 1 ， … ， M }， 




而 N ( Q ) = ( M ) n . 假设基本事件是等可能的，而 B ni ^^ 表示事件 

颜色&1， 

易证明， 


个球具有 
求事件私的概率.容 


U 


ni 


个球具有颜色卜”，且 


ni H - hn 


， w r 


= n 


r 


N ( B nu ". 


) = C n ( Tli ，. 


， Ti r )(A^i) ni (Af r ) 


n 


n r ^ 


因此 


N ( U ) 

概率组 { P ( B nu ... fTlr )} 称做多元超几何分布.当 T " = 2时此分布简称为超几何 

分布，因为其母函数是超几何函数. 

多元超几何分布的构造相当复杂.因为概率 


- ， n r ) 


⑶ 




M x ^M 2 


P(^n lf n 2 )= 


， ni + n2 = n，Mi + M2 = M 


⑷ 


C ? 


M 
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* 


包含9个阶乘数.易见，如果当 M — oo , iV ^ 


时，且 Mi/M — p ， 从而 M 2 /M 


00 


11 ,则 


P(S ni ， n2 ) —C^ +n 2 ^(l—p 广 

换句话说，在上述条件下，超几何分布逼近二项分布.这直观上是明显的，因为 
当 M 和(有限）较大时，由不放回抽样得到几乎与放回抽样一样的结果. 

例利用公式 （4), 求体育抽彩中猜中6个“幸运”号码，其实际意义如下. 

假设有编号为1, 2 ,…， 4 9的 49 个球,其中6个球是“幸运的”（例如,6个红球, 
其余是白球).随意从中不放回抽出6个球.问抽出的6个球全部都是“幸运的”概 

率如何？设 M = 49 ，Mi = 6 ，m = 6, n 2 = 0,则我们感兴趣的事件为 


⑻ 


{6 个球都是“幸运的”}， 


而根据公式 （4) ，其概率为 


一 8 


P (丑 6, o ) = ~ 7.2 x 10 


49 


4. 斯特林公式随 n 的增大，阶乘数 n ! 增长的非常快.例如， 


10! = 3 628 800, 

15! = 1 307 674 368 000, 


而100!包含 1 S8 位数字 • 因此，无论是从理论上还是实际计算的角度，斯特 林公式 




Til = 


，0 < < 1 


都很 重要. 数学分析的大童文献中，都有斯特林公式证明（亦可参见第八章§8练习 


1) 


练习睡 

1. 证明 （5) 式的命题. 

2 . 证明,对于多项分布的概率，在满足 n Pi ~l < ki ^ (n + r - l ) p i {i = \,2, 
的点⑼，… ， A ; r )， 达到最大值. 


♦ 


， r) 


• * * 


3. 一維伊金格 （ Ezenger ) 模型 ，有 n 个质点，分别位于编号1,2, 


的点.假 

设质点分为两种类型：类型 I 有〜个质点，类型 I 有 n 2 个质点， ^1+^2 = n y 并且 
全部 n 个质点的 n ! 排列是等可能的. 


,n 


建立相应的概率模型,并求事件 


A n (mn ? mi2 ? m2i 3 m 2 2) = {^n 二 


= 爪22} 


爪 11^12 = Wl2，"21 = rn 2 1, ^22 


的概率，其中％ 一 排在 I 型质点 j 之后的 I 型质点 i 的个数 （U = 1，2) 
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4. 利用概率和组合的方法，证明下列恒等式 


E ( C ") 




2 


=c 


2 n ， 


fc —0 


fc —0 




— ^m— m > 71 + 1, 


/c=0 


Yl k ( k ~ ! ) C m = m(m — 1)2 


m— 2 


， m 彡 2, 


k—O 


k 


fc—1 


kCl = nC 


EGc 


c 


n—k ， 


j =0 


(0 彡 m 彡 n , 0 < fc 彡 n , 对于 j < 0 和 j > Z , 设 C / = 0) 


5. 假设 AT 是某个总体的容量,要求在对总体的全部元素没有简单重复计数的情 

况下，以“最少的费用”估计见例如，在估计某个国家、城市 • 

似的问题感兴趣. 

拉普拉斯在1786年法国人口为 JV 时，曾经提出下面的方法 

从总体中选择若干个元素（例如选择 M 个元素)，并且作上标记.然后将这 M 
个元素放回原总体,并且与无标记的元素“很好地混合”.然后从“混合好了的”总体 
中再抽取 n 个元素，以 X 表示其中有标记的元素个数. 

(1) 证明，由超几何分布的公式 （4), 相应的概率 P NyM , n{X = m } 可以表示为： 


人口时，对类 


r^n 


PN,M,n{^ = ^}= 


(2) 假设 M , n 和 m 固定，对 TV 求上面概率的最大值，即求总体的“最大似然 
容量 iV ， 使（对于给定的 M , n ) 有标记的元素的个数 X 等于 

(3) 证明，总体容量的最大似然估计值（记作及)，由公式表示， 


« 


m 


N — [ MnmT 1 ]^ 


其中 [•] 表示整数部分. 

这样得到的估计量及, 称傲 N 的最 大似然 估计董.（在§7练习题4将继续讨论 


该问题) 


6 . (对照§1练习题 2.) 设 D 含 iV 个元素，而 d ( N ) 表示具有如下性质的不同分 
割的个数：分割的每一个子集有奇数个元素.证明 


d ( l ) = 1, rf (2) = 1, d (3) = 2， 
d (4) = 5， d (6) = 12, d ( T ) = 37, 
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而一般，有 


d(n)x n 


E 

n^l 


sha: 


— 1 ， \x\ < 1 


=e 


n! 


§3. 条件概率.独立性 

事件的条件概率 事件的概率的概念,可以回答下面一类 问题： 假如箱中有 

M 个球，其中个白球和个 黑球； 以4表示 事件: 随意抽出一个球是白球.问 
事件必的概率 P ( A ) 如何？按古典型概率 P ( A ) = M x / M . 

下面引进的条件概率的概念，可以回答这样一类 问题: 在第一次抽到白球（事件 

A ) 的条件下,在第二次也抽到白球（事件 B ) 的概率如何？（这里讨论的是不放回抽 




样) 


这里自然应该这样 讨论： 假如第一次抽到的球是白色的，那么第二次抽球前箱 

中还有 M - X 个球，其中紙 - 1个白球,另外还有 Af 2 个 黑球; 直观上显然,我们感 
兴趣的（条件）概率等于 （M! - 1)/(M - 1). 

现在给出与直观概念一致的,条件概率的定义. 

设⑴, J,P) 是（有限）概率空间，而>1是某个事件（即 

定义1 设 P(A) > 0,称 


P { AB ) 


( 1 ) 


P ㈤ 


为在事件4的条件下，事件 B 的条件概率（记作 p^l^)) 

对于古典方法 （§1 的第4小节)，概率定义为 


N ( A ) 


N { AB ) 

~ N ( Q ) ， 


P ( A )= 


P (^ AB )= 


iV ⑼， 


则 


N ( AB ) 


V(B\A )= 

由定义 1 直接得出，条件概率如下的 性质： 

P (寧 ） =1, 

T(0\A) = 0, 

P = 1 ， BDA t 

P(Bi + B 2 \A) = P(B!\A) + P(B 2 \A). 

由这些性质可见，对于固定的事件為在概率空间上的条件概 

率 P(-|A), 以及在空间 (n 7 ^) 上的概率 p(.) 具有同样的性质，其中 

^f\A = : B € ^}. 


( 2 ) 
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注意， 


P{B\A) + P(B\A) = l, 


然而，一般 


P(B\A)+P(B\A)^1, 

P(B\A) + ^(B\A) ^ 1 


例 1 考虑有两个孩子的家庭.问一家中有两个男孩的概率如何？假设 

a) 岁数较大的是男孩； 

b) 至少有一个是男孩. 

显然，基本事件空间为 （b 


男孩 ， g 


女孩): 


= {bb ， bg ， gb ， gg}, 


其中 bg 表示“岁数较大的是男孩，岁数较小的是女孩”，等等 

假设 4 个基本事件都是等可能的. 那么， 


P(bb) = P(bg) = P(gb) = P(gg )= 


4 


设事件年长的是男孩”，年幼的是男孩”.因此， A [ JB 表示事件“至少 一 

个是男孩”，而/门丑表示事件“两个全都是男孩”.我们感兴趣的问题是条件 概率: 
a) P(ABjA), b) P(ABIA{JB): 


P(AB) _ 1/4 _ 1 

~P(A)~ = 1/2 = 2 } 

P(AB) — 1/4 — 
P(AQb) = 3/4 = 3' 


P(ABjA) 


1 


P(AB\A{JB )= 


全概率公式和乘法公式另一个简单而重要的公式 （ 3), 称做 全概率公式， 是 

利用条件概率计算复合事件的基本工具. 

考虑基本事件空间 Q 的某个分割豕= {4 ，… ，4}, 且 P(^) > o(i = 1 , 

2,…， n ). (这样的分割又称做不相容事件 的完全事件组 0显然， 


争 


B = + • • • + 


因此 




其中 


P(BAi) ^PiBlA^PiAi) 
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从而，有全概率公式 


P(B) = ^(B\A l )P(A i ) 

1=1 


(3) 


特别，如果0 < P ⑷< 1，则 


P ( B ) = P ( B \ A ) P ( A ) + P ( B \ A ) P ( A ) 


⑷ 


例2 箱中有 M 个球,其中 m 个是“幸运的”.现在不放回地从中先后抽取两 
个球,求后抽到的球是“幸运的”概率.假设所有结局是等可能的，而且关于先抽到 
的第一个球的情况未知.设事件 A = { 先抽到的球是“幸运的 ”}, S = { 后抽到的球 
是“幸运 的”； K 那么， 


m(m — 1) 

P ( AB ) M ( M - l ) 

" PG 4) ~ 


m — 1 

M -V 


P ( B \ A )= 


m 


M 


m(M — m ) 

r ( AB ) M{M - 1) 
P (3) 


m 


P ( B \ A )= 


M — m 


M — 1， 


M 


从而，由全概率公式，有 


P { B ) = P ( B \ A ) P ( A ) + P ( B |^) P (^4) 

m — 1 

= W-~l M M-l 

有趣的是概率 P ( A ) 也等于 m / M . 这样，尽管不知道先抽出的球的情况，但是 
后抽出的是“幸运球”的概率并没有改变. 

由条件概率的定义知，当 r ( A ) > 0时，有 


M — m 


m 


m 


m 


x 


x 


M 


M 


P ( AB ) = P ( B \ A ) P ( A ) 


(5) 


该式称做乘法公式.用数学归纳法可以将其 推广： 假设事件组_ •. ， A n 满足条件 


P(Ai … A n ) = P (山) P(A 2 | 山）… PMnlA … A n _x), 


⑼ 


其中 A1A2 … An = >ii n^2 n * * ， n 々 • 

贝叶斯公式设事件 4 和 B 的概率大于 o : P ( A ) > 0 ? P ( B ) > 0,则与 （5) 


串 


式同样，有 


P (乂 S) = P(A\B)P(B) 


⑺ 
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由 （5) 和⑺式得所谓贝叶斯 ( Bayes ) 公式: 


P ( A ) P ( B \ A ) 


⑻ 


P ( A \ B ) = 


P ⑼ 


假如事件组 A lr - , A n M 的一个分割，则由 （3) 和 （8) 式得 

p (次) p ( gA ) 

J]P(^)P(S|^) 


P ( Ai \ B )= 


⑼ 


称做贝叶斯定理. 

在统计应用中，事件 ^ A n 组成事件组 （乂1 +…+ =⑺，常称做“假 

设”或“假说”，而 P (^) 称做假设耒的验前概率十条件概率 P ^ l ^) 称做假设 
牵 在事件 S 出现后的验后概率. 

例3假设匣中有两枚硬币 ： A -对称的硬币，“正面” Z 出现的概率等于 

1/2,而戊——不对称的硬币，“正面” Z 出现的概率等于 1/3. 随意选出一枚硬币 
并将其投掷,结果掷出正面.问抽到硬币为对称硬币的概率如何？ 

建立相应的概率模型.这里自然取集合 Q ：= { A 1 Z y A 1 F , A 2 Z , A 2 F }, 可以描绘选 

取和投掷的结局,其中山 Z 表示“选中硬币” 结果掷出正面 Z , 等等,而 F 表示 

硬币掷出反面.根据条件，所考虑结局的概率应 该是： 


P ( A 1 ) = P ( A 2 ) = 1； 


2 


和 


P(Z|^i) - P(Z| 戊 ）=; 


2 


这些条件唯一决定各结局的 概率: 


P ( 禹 Z) = 1 ,P(A 1 F) = -,P(A 2 Z) = s ， PCA 2 F )=； 


4 


4 


6 


3 


那么，根据 贝叶斯公式 , 所求的概率为 


P (^) P ( Z | 山) _ 

P ( A 1 ) P ( Z \ A 1 )^ P ( A 2 ) P ( Z \ A 2 ) _ 5, 


3 


P(yli |Z) = 


从而 


2 


P (^ 2 | Z ) =- 




priori - 验前， a posteriori -- 验后. 


a 
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4. 独立性在这一小节将引进的独立性的概念，它对于概率论在一定意义上有 
核心作用：正是独立性的概念决定了概率论的特色，使它从研究有测度的可测空间 


的一般理论中分离出来 


对于两个事件4 和尽 如果事件4的出现，对事件 S 出现的概率不产生丝毫 
影响，自然应该认为事件 B 不依赖于事件 A 换句话说，称“事件 B 对事件4独 


立”，如果 


P ( B \ A ) = P ( B ) 


( 10 ) 


其中假设 P ( A )> 0 


因为 


P ( AB ) 


P ( B | A ) = 


所以由 （10) 可见 


P ( AB ) = P ( A ) P ( B ). 

同样，设 P ( B ) > 0,则自然称“事件乂对事件5独立”，如果 


( 11 ) 


P { A \ B ) = P (^ l ). 

由此仍然得到关系式 （11)， 于是该式关于事件 4 和 B 是对称的，并且当事件和 
B 的概率 （一 个或两个）可能为 0 时 （11) 式仍然成立.由此导出独立性的定义. 

定义2 称事件>1和 S (关于概率 P ) 为独立的或统计独立的， 如果 

P ( AB ) = P (^) P ( B ). 

在概率论中，往往不但需要考虑事件（集合）的独立性，而且需要研究事件（集 
合）组的独立性.下面引进相应的定义. 

定义3称 n 子集系 的代數 和(关于概率 p ) 为独立的或统计独立的, 

如果对于相应地属于和义 2 的两个任意子集和独立. 

作为例子,考虑两个 代数： 


^1 = {Ai,Ai,0,Q} ^0 ^2 = {乂2, 乂 2，0， Q } 

其中4和分别是和中的集合.不难证明，两个集合代表和 j 

独立当且仅当对任意事件 A 和也独立.事实上,和独立说明， 16 个事件 
偶烏和 也， ▲和不 ，…， n 和 Q 独立.从而 禹和戌独立. 相反，若▲和4独 
立，则需要证明其余15个事件偶也独立.例如，现在验证禹和不独立.有 

I 

P(A!^ 2 ) - P ( 山） - ^{A x A 2 ) = P ( 山） — P(A 1 )P(A 2 ) 

= P ( A l )[ l ^ P ( A 2 )] = P ( A l ) P ( A 2 ). 


2 


同样可以证明其余事件偶独立 
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全体独立和两两独立两个集合以及两个集合代数独立的概念，可以推广到 
任意有限个集合以及集合代数的情形. 

定义4 称集合(关于概率 P ) 全体独立或全体统计独立,如果对于 

任何 fc = 1，2， 


參 


和 1 ^ il < ^2 < 


< 4 < n ， 




* * 4 


* • * 


P «， …人） = ?(軋）… P ( A “). 

定义5 称集合（关于概率 P ) 代数^^，…，全体独立或全体统计独立，如 

果相应地属于，…，的任何集合 ^1,... , A n 独立. 

需要指出，由事件两两独立，一般它们未必全体独立.事实上，例如，若 Q = 

{ uj u lo 2 ^ u 4 } 且所有基本事件都等可能，则事件 


( 12 ) 


A = {uji,lo 2 }, B = {uji,u) 3 }, C = { cx ； i , o ； 4 } 


两两独立，但 


3 


G) 


P { ABC ) 


二 P ( A ) P ( B ) P ( C ) 








4 


还需要指出，对于某些事件 A ， B , C , 由 


P ( ABC ) = P ( A ) P ( B ) P ( C ), 

一 般并不能得出这些事件两两独立.事实上，设空间 n 由有序数偶 组成： ( ij ), 其中 
M = 1，2,…，6,且这些数偶都等可能.那么，对于事件 


4 二 {( U ): j = l ，2 或5 }， B = {( i ， j ) : j = 4,5 或6}， C ={( i , j ): i+j = 9 h 


则 


= 6 ^ 4 = P ⑷ P ⑻， 

P(AC) = ^^^=P(A)P(Cl 
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18 


P ( BC ) 


i 2^ r 8 - p ( s ) p ⑹， 


■ I irfTir _ 


然而 


P (4 BC ) = -= P ( A ) P ( B ) P ( C ). 

6. 伯努利概型从独立性的概念出发,详细讨论§2中引进的导出二项分布的 

经典模型⑴， ^，P). 在此模型中， 


ft = {uj 

= {.4 : A c 


(® i ， • • • ， a n )，= 0, 1}， 


UJ 
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而 P ({ o ；}) = p ( u ;) 7 其中 


p ( uj ) = p^ ai (l — p ) 

考虑事件4 ci ^. 如果事件4只决定于 q 的值,则称该事件依赖于 fc 时的试 

事件和就是这样事件的例子： 


n-^2ai 


(13) 


i — 1}， — < flfc — 0} 


A 


k 




考虑代数序列: ^ Sir - ， Jn ， 其中 Jjk = { Ak , A k ,0, Q }, 并证明对于 （13) 的情 


形,这些代数独立. 


显然， 


p (^fe) = ^2 = Y 1 P Eai (i -p) n 




{ u;：afc —1} 


= 1} 


n—1 


E ⑴ (n-l)- J2 


Ct 4 


E 


Ec ： 


i rt ( n _ 1) — Z 


i^k 


ij^h 


=p 


p 


Q 


=P 


iPQ 


= P , 


n— 


{ ai ： i ^ k } 


而类似的计算,可得 P ( A k ) = ?， 且当 A ; 〆 /时，有 


2 


2 


^( AkAi ) =p , V ( A k Ai ) = pq 7 P ( A k Ai ) = q 


由此容易证明，代数和 ^ i ( k ^ l ) 独立. 

类似地可以证明代数独立.因此可以把所讨论的模型 

P ), 称做适合具 有两种结局且成功的概率为 p 的 n 次独立试验的模型 . 伯努利 

( J . Bernoulli) 最早研究了该模型，并且对这种模型证明了大 数定律 （§5). 因此，该 

模型又称做（具有“成功”与“失败”两种结局且“成功”概率为 p 的） 伯努利概型 . 

深入研究伯努利概型的概率空间表明，它具有下面将阐述的“概率空间直积，，的 


构造 


假设有 n 个有限概率空间 （％，，… ，d 组成点 

Qn ， 其中叫 G 记 


( ai ， …， 


UJ 




a n ) 的空间 SI = Sli x f^2 


X 


. X 


* • 


j = 為 (8) 爲 ® …⑭戈 


n 


Mn 的子集的代数，由形如 a = b x xb 2 

(« 1 ，， •- ,a n ) ，令 p(uj) = Pi(ai) - - ^ Pn { a n ), 且把集合 A = Bi x B 2 X 


的集合构成.最后，对 


X 


X 


攀 ■ # 


于 


x B n 




的概率定 义为: 


卩 ⑷= E 


Pi(ai) … Pn(a n ) 


{aiGB :， … ^a n £B n } 


不难验证 p ⑴ ） =1，因此⑴， j ， P ) 决定某个概率空间，称做概 率空间 


⑼ ，爲， Pi ) ，…， （ D n ， j n ， p n ) 
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的直积 


概率空间直积一条容易验证的性 质是： 事件 


A\ = {cj : ai E 


，乂 n = 




a 


t • • 


n 


关于概率 p 独立，其中风 e 3V 同样，空间 Q 的子集代数 


= { A \ : A \ = {oj : B \ G 义 1 }， 




~ ~ ^ B n }, B n G 


n 


独立 


由上面引进的构造，可见伯努利概型 

( S 7，^^, P )， r 2 = {cj 

和 p ({^})= p ^ ai ( i - p ) n -^ a ^ 

,( n n ,^ n , p n ) 的直积得到，其中 

S 7 i = {0,1}, 爲={{0},{1}，0，叫， 

Pi ({ l })= P ， P 綱）=仏 


( oi , 


， ®n )» = 0, 1}， 


: U ) 






可以由概率空间 


7. 练习题 

1. 举例说明等式 


P ( B \ A )^ P ( B \ A ) = 1, 

P ( B \ A )^ P ( B \ A ) = 1 


一般不正确 


箱中有 M 球，其中从个白球，考虑不放回抽取的容量为 n 的样本.以％ 
表示事件“第 j 次抽到的是白球”，以表示事件“在容童为 n 的样本中恰好 it 个 

白球”.证明，无论对于不放回抽样，还是放回抽样，都有 


2 




k 


^( Bj \ Ak ) 




n 


3. 对于独立事件 •••Mu ，证明 


n 


n 


[\ A k 


n p ㈤ 


p 


fc=l 


k—1 


4. 对于独立事件 di ， 


，鳥， 其中 P (為） = p it 证明这些事件一个都不出现的 


概率 


n 


fj(l - Pi) 

i~l 


Po = 
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5. 设>1和5是独立事件.通过 P ( Z ) 和 P ( B ) 表示下列事件的 概率: 在 A 和 B 
之中，恰好出现个事件，至少出现个事件，以及最多出现 A : 个事件. 

6. 设事件4与它自己独立，即 A 与4独立，证明 P (^) 等于0或 1. 

7. 设事件4概率 P (^) 等于0或1，证明4与任何事件 B 独立. 

8. 考虑图4的电路图.在和五等 
5个继电器中，各继电器独立的工作,每个以概率 

P 和 g 分别有“断”（无信号通过）和 “通” (有信 
号通过)两种状态.问“在入口发送的信号，出口 

可以收到”信号的概率如何？在五“处于‘通’的 
状态下，出口可以收到”信号的概率如何？ 

9. 设 P(A + S ) >0,证明 


P ㈤ 


P(AjA + B ) = 


P ( A ) + P ( B ) 


10. 设事件 A 对事件 B n (n > 1) 独立，并且 B i f ] B j = 0, i ^ j . 证明事件 


与 U B 


A 


独立 


11. 证明，如果 P ( A \ C ) > P ( B | C ) 和 P ( A \ C ) > P ( Sp )， 贝 fj P ⑷〉 P ( B ) 

12. 证明 


P ( A \ B ) = P ( A \ BC ) P ( C \ B ) + P ( A \ BC ) T >( C \ B ) 

13 •设 X 和 Y 独立，服从参数为 n 和 p 的二项分布，证明 


P{X = k\X + Y = m } = 


， fc = 0， l ， 


， min(m ， rz) 


2n 


i 4. 设是两两独立的等概率事件，且 


求概率 P ( A ) 的 


0 . 




最大值 


15. 在箱中原来有一个白球，以相同的概率将一个白球或黑球放入箱中.然后随 

意取出一个球，结果是白球.问箱中剩下的球也是白球的概率如何？ 


4. 随机变量及其特征 


1. 随机变量及其概率分布和分布函数设是某具有有限个结局试 

验的概率模型，#⑼是0中基本事件的个数，而 J 是12中所有子集的代数.能 
够理解，以上讨论的各种事件概率的计算，其实基本事件空间的自然本性并 
不 重要. 重要的只是某种数字特征，其值依赖于基本事件.我们想知道的是，在一系 
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列 n 次试验中，出现一定次数成功的概率如何，分到各箱中质点个数服从哪种概率 
分布,等等. 

现在要引进的随机变量的概念，可以表征在随机试验中“测量”结果的量.下面， 
将再引进随机变量更一般的形式. 

定义1称任一定义在（有限）基本事件空间 n 上的数值函数$=为随机 

变量.（第二章§4,引进随机变量的一般概念之后，就可以清楚知道随机变量的“简 
单”术语的来源 

例1 对于接连两次掷硬币模型，其基本事件空间为 n = { ZZ , ZF , FZ , FF }， 其 
中 Z ——正面, F —— 反面. 我们利用下面的表格定义随机变量《= ^( o ;): 


ZZ 


ZF 


FZ 


FF 


《㈣ 


这里，按实际含义，是对应于 w 的“正面”出现的次数. 

随机变量€的另一简单的例子是某集合的示性函数（亦称特征函数) 




其中 *) 


1 ， u) G A. 1 

0 ， u) ^ A. 


Ia (^) = 


当实验者遇到描绘某些记载或读数的随机变量时，则他关心的基本问题是，该 
随机变量取各个数值的概率如何.从这种观点出发,关心的不是概率 p 在 (0,^) 上 
的分布，而是概率在随机变量之可能值的集合上的分布.由于对于所研究的情形 , n 
由有限个点构成，则随机变量《的值域 x 也是有限的.设 x = , x m }, 其中 

是€的全部可能值. , 

记 f 为值域 X 上一切子集的全体，并设 J 3 e I . 当 x 是随机变量 （ 的值域 

时，集合 B 也可以视为某个事件. 

在上考虑由随机变量€按公式， 


^1， 


，工 


P^{B) = P{u : ⑽ e B }， B Gf 


产生的概率显然，这些概率的值完全决定于 


^( x i ) = P{w : ^(u；) = Xi}^ Xi e x 


组数 {^( A ) ，…， P ^( x m )} 称做随机变量 € 的概率分布. 

a 

) 对于示性函数 IA ( a ;), 还使用记号 1 ( A ) 关于以后常用到的一些性质参见练习题 


1. 




§4. 随机 变置及 其特征 


例2 设随机变量^分别以概率 p 和 g 取1和0两个值，其中 p 称做“成功 
的概率，而 g 称做“失败”的概率，则称 （ 为伯努利随机变量 *). 显然，对于随机变量 




《，有 


Pd x ) 一' 


(i) 


0 , 1 . 


X 




设 C 是以概率 


Pdx)=C x n p x q n -\ x = 0 ， l ， 


( 2 ) 


，n 


取 0，1，". ，71等?1+1个可能值，则称 （为二 项随机变量，或称^为服从二项分布的 

随机变量. 

注意，在这些及以后举的许多例子中，我们不具体说明基本概率空间 ( n ,^, p ) 
的构造，而只关心随机变童的值及其概率分布. 

随机变量€的构造完全由概率分布{&(%), 1，2,… ， m } 描述.下面引进的分布 
函数的概念，提供随机变童构造的等价描述. 

定义2 ilxeR 1 . 函数 


^( x ) = p {^ : ^(uj) ^ x} 


称做随机变童《的分布函数， 


显然， 


^)= E P^ X i ) 




并且 


Pd x i) = F d x i) - Ffi(Xi-) y 


其中 


F dx~) = lirni^(?/) 


yT 工 


如果假设 


，< ^m ， 而 F ^( Xq ) = 0, 则 


X\ < X 2 < 


P d x i) = F ii x i) ^ 切而 - 1 )， 




下面的图 5 是二项随机变量 《的 P e (： r ) 和 F ^( x ) 的示意图. 
直接由定义2可见,分布函数具有下列 性质： 

(1) F e (-oo) = 0, F^(+oo) = 1; 

(2) F^x) 右 连续： A( ； r+) = F^(x), 并且是阶梯函数. 

M 在概率论的文献里，所说的1伯努利，’ 

随机变量服从伯努利、二项、泊松、髙斯 


二项”、“泊松”、“髙斯” • 


随机变童，通常称做 


分布 • 
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除随机变量之外，还常研究随 机向量 $ = JrO , 其各分量都是随机变量. 

例如，在研究多项分布时，对象就是随机向童 p = ( w , … , i / r ), 其中 w 是序 

) 中等于啡=1,…， r ) 的分量的个数. 

对于而6 XiiXS 二1，… ， r ) 是匕 的一切可能值的集合)，概率 

) - P{^ : 6M = 

的全体,称做随机向量€ = (6, …， 心）的概率分布，而函数 


列 a ; = ( ai , 




印工1， 


， ^ r (^) = 


，: r 


X \, ' 


• * 


r 


• ， 0 V) = P{c^ : 6 (cl?) ^ Xir- ,^ r (a;) < x r } 


F ^( x u 


■ 4 


称做随机向量 C = ( Si ， …乂 r ) 的分布函氣其中： Ti G M 1 (t = 1, 

对于上面提到的向量 "=( n ，… ，〜)， 

Pv{ni, … ， n r ) = C n (ni, - 


，叶 


，打 r )# 


n 




p 


* _ 


» « 4 


r 


(见 §2 中的 （2) 式). 

2. 独立随机变量设是一组6,… ，心在 妒中（有限）集合 X 上取值的随机 
变量. 记义是 X 中所有子集的代数. 

定义 3 称随机变量匕,…，匕为（全体） 独立的 ，如果对于任意… , x r ex , 

P{6 = 工 1，…，& = X r } = P{6 = ^l}** PKr = X r }, 

或等价地：对于任意 仏，…， B r eS \ 

P{6 eB u -^ r eB r } = P{6 e B 1 }^P{^ r e B r }. 

上面讨论的伯努利概型，就是独立随机变量的一个最简单例子.具体地，设 

(1-P) 

( ai , … ， a „), ^( w ) = ai(i = 1,… . ， n ). 那么，由§3的证明，事件 

Ai = {a ； : ai = !},-•• ,A n ^ {u :a n = l} 


E 


n~T,ai 


ri = { 


=(ai, • . ， a n ),ai = 0,1} ? p(uj) 


(jLx 


LJ : (jJ 


P 




并且对于 


a ; 




独立，从而 l … ，^ 独立 
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随机变量之和的概 率分布我们以后不止一次地遇到，作为随机变量 

6,-• ，$的函數的随机变量/(6,…，各）的概率分布问题.现在只限于考虑求随 
机变童之和 C + 7? 的分布的情形. 

如果《的值域为 X = {n ，… ,x k }, T) 的值域为 r = {yu- 

+ yjJ — 1, • • • = 1， •..， Z }， 且显然 


* 


，2/ z }， 贝 1 J C = 4 + ^ 


的值域为 Z = { 


2 : ^ 




p d z ) = P (C = z} = P{^ + 7? = ^} 

= E p 仪 




― 1 004 


{(iJ) ： Xi+yj=z} 


随机变童 f 和 r? 独立的 情形特别重要，即 P {^ x i , r } = y j } = P {^ = Xi } P { r ] = 
2 / j }. 这时,对于任意 z e z 


k 


^C( Z ) = ^( X i)^v(yj) = P^( x i)Prt( z ^ ^i) 


(3) 




例如，若（和 r ; 是分别以概率 p 和 g 取1和0为值的独立伯努利随机变童，贝 IJ 
Z = {0,1，2}，而 


P “0) = = g 2 , 

巧⑴ = A ⑼ A ⑴+ A ⑴⑼ = 2 列， 

P C (2) = ^ ⑴乓⑴ 


2 


用归纳法容易证明 ，若匕,… ，心 是独立伯努利随机变童，且= i > = 
P , P {6 = 0} = A 则随机变量 < = 6 +…+ 各 服从二项分布 


PcW - C k n p 


k^n—k 


(A: = 0,1 ， •… ， rz) 


(4) 


Q 


4 - 数学期望现在研究重要概念，随机变量 的数学期望或 均值， 

设 （ n , j , p ) 是（有限）概率空间，而《= $( o 0 是某一随机变童，其值域为 

X = { x u ^ , x k }. 如果设 Ai = { u ： = Xih 则显然 f 可以表示为 


k 


咖) = (义 i )， 

i=l 

, A k 构成 Q 的分割（即 >1 


(5) 


其中集合 
第3小节). 

记内==而}.直观上显然，如果在 n 次独立重复试验中观测随机变量 i 

的取值， 则取❼ 的值大致应该出现 n Pi (i = 1， • • • ， fc ) 次.（最好将这一段话与大数定 


, At 两两不相容，且其和是见§1 


• 
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律的论点对比，关于大数定律见§5和 §12.) 因此，根据 n 次试验的结果，计算的该 

随机变量的“平均值”大致为 


k 


[np\Xi H - h np k x k ] = ^PjXj 

i=^l 


n 


这一事实引出下面的定义. 

定义4实数 


k 




⑹ 


称做随机变量 


k 


i=l 

的数学期望或平均值 _由于 Ai = {cj ： =而}，而 P ^{ x % ) = P (木)，贝 IJ 


k 


i = ^ XiP ^ Xi ). 


⑺ 


i=l 


注意到分布函数的定义 A = F e ( x ), 并记 


AF c (x) = F^(x) - F^(x-), 


得巧 ( A ) = △&(%)， 从而 


k 


^ = y^XjAF^(xi) 

i=l 

在研究数学期望的性质之前，常需要随机变量纟的各种不同表达形式，例如 


⑻ 


= 巧)， 


j=i 


其中历+…+玖=但是一般在％之中可能有相同的值.这时,可以按上面的公 

式计算数学期望，而不需要首先变换成所有的: Ti 值两两不等的 （5) 式.事实上 

E p (巧 ）= &p ⑷， 


E (巧) 


=X,- 


I 




. 山」 * jL * * 


J 


于是 


k 


7 二 XjP(Aj) 

7=1 i=l 
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数学期望的基本性质 现在列举数学期望的基本性质 

1) 若 O 0, 则 EO 0. 

2) E ( a ^ + br ]) 

3) 若 O %则 EO 

4) |E^KE|^|. 

5) 若 《和7；独立，则 E^r/ - 

6) (E|^|) 2 < E^ 2 -Et/ 2 ( 柯西 - 布尼亚科夫斯基不等式，亦称柯西-施瓦茨不 
等式，或施瓦茨不等式 ). 

7) 若 C = /(A )， 则 = V(A). 

性质 1) 和 7) 显然.为证明性质 2), 设 




C + feEr?, 其中 a, 6 是常数 


a 






V 


⑷，/? = 5>卿， 


则 


+ brj = a XiI(Ai n Bj) b yjIjAj D Bj) 

* » * * 

y^jaxi + ㈣ Wi n Bj); 

* ■ 

E(a^ + brj) = ^{axf + byj)P(Ai f\ Bj) 

p 譬 

^2 ax i p ( A ) + ^2 b yj p ( B j ) 

_ 

^ 3 

^XjPjAj) + b^2yjP(Bj) = aE^ + bErf 




=a 


3 


由性质 1) 和 2 )，可以证明 3). 因为 


刚二 J>P ⑷ < EWP ⑷ = EW ， 


所以性质 4) 显然.为证明性质5)，只需注意到 






* m 


3 


= > : n Bj ) = 〉： XiyjP(Aj)P(Bj) 






=( J2 XiP ( Ai ^ I S"i P ( 5 J) 




J 
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其中在证明过程中 用到： 对于独立随机变量 《和 r/， 事件 


Ai ^ {uj : 《 (a;) = a ； i} 和巧 = {w : t](oj) =yj} 


独立: P (次门巧） =P(A)P (马) 

为证明性质 6)， 注意到 


k 


( 2 = 5>, 2 /⑷， 


Evpm 


2 


V 


和 


k 


e = Y , x ^ A ^ Ery 2 = 5 >|P ㈣ 


设 Ef > 0, Er? 2 > 0. 记 




V 




卜 V ^， 


Tj = 


vW 

由 2|^| 彡 f + 铲，可见 2E|^| ^ E^ 2 + E 铲 = 2* 因此 


E|^| ^ 1, (EI^D^E^xEt? 2 


假如 EC 2 = 0 , 则 


y ^^ p {^} = o , 


从而 0 是 $ 的可能值，并且 


P { u ^ : ^( u ;) = 0} = 1, 

因此,如果坎 2 或 E/? 2 之一等于0,则显然 E|^| = 0. 于是柯西-布尼亚科夫斯基 

不等式仍然成立. 

注性质 5) 明显地可以推广到任意有穷个随机变 量：若 …， 心独立 ，贝!I 


E Ci _ •. 心= E 6 _ •. E 心 


这里可以仿照 n = 2的情形证明，亦可用归纳法证明. 

例 3 设 C 是伯努利随机变量，以概率 p 和 g 取1和0为值,则 


= 1 x P{^ = 1} + 0 x P{^ = 0} = p. 

■ 

1 

例 4 设 6, …， ^ 是 n 个伯努利随机变量，以概率 P 忆= 1} = p 和 P 忆= 
0} = + g = 1取1和0为值，则对于 


Sn = Cl + …+ €n， 
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其数孛期望为 


ES n = np. • 

■ 

这里有另一种求法.易见，如果假设6,…独立伯努利随机变量，则 E & 不 
变.在此条件下，根据 （4) 式，有 


P{S n =k) = C k nP k q n _ k (fc = 0 ， l, 


， n). 


• » * 


因此， 


n 


n 


n 


kn\ 


S n = Yl kP i S - - k } = J 2 _ nP k q n 一、 

fc =0 

(n — 1)! 

(71 — 1 )! 

其实，用前一种方法比用后一种方法得到结果更快一些. 

随机变量函数的数学期望设 e = !> J ( 次)，其中次 = W <(0；) =而}，而 
¥?(《( w )) 是《 ㈤ ）的某一函数. 如果爲 = {w : #(€(0；)) =幻}，则（设 I Bj ( w ) = 

撕 M ) = 


k 八 n—k 


- nr% 

k\{n-k)V 


Q 




fe —0 


n 


E 


(卜 1 ) 


=np 


Q 


fe=i 


n—1 


=np 


ln( n — l) 一 I 


=np 


1—0 


♦ 


ip = 


HBj )) 


3 


从而 




⑼ 


(f = 


3 


3 


同样显然（设 &>) = /(')) 


= ^2<p(xi)i Ai (u) 


i 


于是，为求 p = wK ( o ;)) 的数学期望，既可以利用 （9) 式,也可以利用下面的公式 

E^K(o;)) = y^ip(Xi)P $ (xi). 


I 


7 . 方差和标准差随机变量 C 的方差和标准差，表征纟取值 的散布程度 , 是十 

分重要的概念. 

定义5 称 


2 


De = E (《 -E0 

为随机变童的方差（记作 DO . 称 C = VD ? 为标准差. 
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由于 


E (卜 EO 2 = EK - 2派 + ( EO 2 ] = E ^ 2 - ㈣ 2 , 


可见 


D 卜 E 《 2 - ( E 0 2 . 

显然 DO 0. 由方差的定义，可见对于任意常数 a ， 6, 


D(a + 60 = 6 2 DC , 


特别 Da = 0，D (吆 ）= 6 2 Df 

对于二随机变貴€和/?， 


2 


+ ??) = E (K - E 0 + (” — El?)] 

+ Dtj + 2 E (《一 E ^)(/? — E77 ) 




记 


cov (^ rj ) =E(^- EOto - Er?)， 

称做随机变量 € 和? 7 的协方差.如果 R ^0,D??^0, 则 

cov(U) 


p(^ v )= 


称做随机变量€和 T? 的相关系数.不难证明（见练习题 7 )，若 p($7?) = 土1，则随机 

变量纟和7/线性 相关： 


7] = + b. 


其中当〆€，//) = 1 时 a>0; 当/>(《，;?) = 一1 时 a<0- 

立 即可以指出，若^和 7?独立， 则 4 _ 和? 7 - Et ? 独立， 因此根据数学期望的 

性质5)，有 


cov(^, ri ) = E(^ - E0 x E(i7 - Er ]) = 0- 


由协方差的定义,可见 


D(《 + r]) = + Dr] + 2cov(^,r?) 


( 10 ) 


如果 €与 TJ 独立，则和 C + v 的方差等于方差之和: 


DK + ") = De + D// 


( 11 ) 


虽然式 （11) 可以由式 （10) 导出的，然而 （11) 式在比％和7?独立”较弱的条件 
下仍然成立.具体地说，只要假设“（和7?不相关”，即假设 COv (^, V ) = 0 就可以了. 
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_ 


注由《和7?不相关，一般得不出 《和 7?独立.看下面的例子.假设随机变量 

不相关，然而 《和 7/ 


以概率1/3分别取 0,7r/2,7r 为值，则 i 


和 


a 


sin a 


V 


cos a 






不但（关于 p) 不独立 


P{々=1,/y = 1} = 0 ^ 1/9 = P{^ = l}P{n = 1}， 


而且 《和 q 之间有函数 关系 ：+ T} 2 

性质 （10) 和 （11) 明显可以推广到任意个随机变量&，…，&的情形 


1, 




n 


n 


D =^ D ^ + 2 S cov fe ^^ 


( 12 ) 


t— 


特别，若随机变量… ， ^ 两两独立（实 际上,只需要求它们两 两不相 关)，则 


n 


n 




D 


(13) 


I 


例 5 设 € 是伯努利随机变量，以概率 P 和 g 取1和0为值，则 

= E(^ - E^) 2 = E(^ ~p) 2 = (1 - p) 2 p + p 2 q = pq. 

由此可见,如果…， Cn 是独立同分布的伯努利随机变量序列，且& =匕如”+&， 


则 


TZJ 7(^ 

S. 最优线 性估计考虑两个随机变量《和 7?. 假设只对随机变量 f 进行观测. 

如果随机变量€和77相关,则可以预期，已知$的值可以对未观测随机变童7?的值， 
作出某种判断. 

我们把 f 的任何一个函数/ = /«) 称做7?的一个估 计量. 称估计量尸=尸⑹ 
为在均方意义下最优的，如果 


(14) 


E(7/-rK)) 2 =infE(f/-/«)) 


2 


现在讨论，如何在线 性估计 A«) = a + ^ 类中 求最优估计 . 为此考虑函数 


2 


g(a^ b) = £[7/ — (fl + 死 )] 


将 g ( a , b ) 分别对 a 和 6 求偏导数，得 

dg { a 、 b ) 


= 一 2 E [?7 — (a + 时))， 


da 


dg { a , b ) 


= -2E[?y — (a + 喊 )《] 


da 


* 
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令所得偏导数等于 0, 可以求出 A 均 方线性 估计: A * = a * + 其中 

cov ($ t ?) 

DC ’ 


本 


V - b*E^, b* = 


( 15 ) 


a 


COv (^, Tj ) 


A *(0= Er ? + 

称 E [ t ? - A *(0] 2 为估计值 的均方误差. 经过简单的计算可见，该误差等于 


- EO 


(16) 




2 


㈣ 


COV 


聊 —A * ⑹) 2 二 D" 


= D//x [1 —〆(&")] 


幸 


A 


(17) 








这样 ， f 和 W 之 间的相关系数（绝对值) 越大， 均方误差的 估计值 △* 就越小.特 

别，如果 | pK ，7/)| = 1,贝! 1 A *=0 (与练习题 7 的结果比较).如果随机变量《和 7? 不 

相关（即 來， r?) = 0), 则 \*(0 = Et/. 于是，在随机变量 （ 和 77 不相关的情形下，根 
据《 对;? 的估计就是 Et ? (与练习题 4 的结果比较). 

9. 练习題 

1. 验证示性函数以= I A ( u ;) 的下列 性质： 


J 0 = 0 ， I n = 1, 1-^=1 - I A) 

Iab = Ia x Ib ， ^aub = Ia + Is — Iab, 

Ia\b — h(l — 4 )， Ia 厶 b = Ua — Ib) 2 = + /fi(mod2), 


n 


n 


n 


JJ(1 ^ iAi), Ie 2 = IJ(1 - lAi), Ie 3 = 

i—1 i=l i=：l 

其中 AAB 称做集合 4 与 B 的 对称差 •• AAB = (乂 VB)U(5V4 )， 而 


Ie x = 1 




n 


n 


n 


丑 i = U 為 ， ^2 — (J E3 = Ai 

i=l i=l i=l 

,^ n 独立随机变量，且 

， 《 n } ， Cm 


2. 设是 f 


1 ， 


_ 4 


《min = 論仿， 


«1 ，… ^ n } 


IMl 


ax 


证明 


n 


n 


P{《min ^ = II P{& 彡 $} ， P{^max < x } = JI P{^i < x} 

i=l i—1 

3 .设 € 1 , … ，匕 是独立伯努利随机变量，且 

Pfc = 0} = 1 — A* A, 

P 仏 =1} = AiA , 
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其中 A > 0, \ > 0,而 A 是较小的数.证明 


n 


…= 1} = I A * 1 A + 0( A 2 ), 
P {^1 + … +《n > 1} = 0 ( A 2 ). 

4, 证明，当 a = E 4 时 EG - a ) 2 达到下确界 


inf m - a ) 2 = DC 

— oo<a<oo 


inf E ((_ a ) 2 ， 即 

— oo<a<oo 


5 •设 F ^ x ) 是随机变量 e 的分布函数，而 m e 是 F ^ x ) 的中位数，即下列条件的 


点 


F^m e ^) ^ ^ F^(m e ) 


inf E |( — a | = E |^ 

— oo<a<oo 


— m 


e 


6 •设 P^(x) = P {^ = x},F^(x) = P {*^ ^ x}, 证明 
(1) 对于 (Z > 0 ， oo oo j 有 


x — b 


Pa 《+ b ( T ) = 


a 


F a ^+ b (^) = 


a 


(2) 如果 y > 0,贝 (J 


F e(y) = A(+v^) — F d^Vv) + p d-Vv) 


(3) 设《+ = max {《，0}， 贝 lj 


若 r < 0 ， 

i ^+ ( x ) — ^ ( x ), 若 a : = 0， 

[ i ^( x ), 若 ； r > 0. 

_ 

7_ 设随机变量 f 和； / 的方差 > 0， D ；7 > 0,它们的相关系数为 7> = p{t ri ) 


0, 


证明 


(1) IPl 彡 1 . 

(2) 若 | p | =： 1, 则存在常数 a 和6,使77 = < + &，并且当 p = 1时 

7? — E " 






(即 a > 0)，当 p — —1 时 


T ] _ ayrj 

y/^rf 


讽 ’ 
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(即 a < O ). 

8. 假设对于随机变童 《和 ?7, = 0, = Dry = 1，而 （ 和 ?7 的相关系数 

/>((，??)•证明： 


为 p 


max {《 2 ， y ; 2 } 彡 1 + \/l - p ^. 


9. 利用等式 


71 


n 


h 2 = n ( i - u ， 其中 e 2 =\ja 

i=l t=l 




证明 §1 中练习题 5 的 公式: 


P(B 0 ) = 1 — A + 为 


± S n - 


* • « 




10 •设 6,… ，€n 是独立随机变量， Wl = #1(6,…，00和 < p 2 = P 2(0 c 十1，…， & i ) 
分别是（心，…，心）和 fe + i , …， W 的函数,证明仍和灼独立. 

11. 证明随机变量6，...，匕独立，当且仅当对于一切 


xi , 


， $n ， 


( a ， 




) = (xi)-'F^(x n ) y 


，： r 




n 


* p ^ 


n 


其中巧 


($1，’ ’ . ，工 n) = P{《1 < 工1， 


i Cn ^ *^ n } * 

12. 证明随机变量 < 与自己独立（即 《与 f 独立)，当且仅当之 = const . (常数) 

13. 问随机变量$满足何条件时，^与 sin ^ 独立？ 

14•设 C 和 T ? 是独立随机变量，且 r ; 一 0. 通过概率巧0)和 P v ( y ) 表示 概率: 




# * # 


* # « 


n 


{ 


PR/Kd 和 P 




v 


15. 设随机变量 ^ t } X 满足条件 ： ICI 彡 1， M 彡 1 ，|CI < 1, 证明贝尔 （ A . G , Bell ) 


不等式 


|E« — E^| ^ 1 — E^r/ 


(例如，见 [136]) 

m 向 《 个箱子中独立地掷 a ； 个球.假设每个球落入各箱的概率都等于 i / n ， 求 
非空箱子个数的数学期望. 


§5. 伯努利概型 I .大数定律 


1. 伯努利概型以上的定义“三对象 




( a 』， p )， 其中 n = {u 

= {A : ACQ}, P(M) 


= (^i ， _ _ _ ， a n )， = 0, l }， 

(1- P) n 


UJ 




E 




ai 


(= pM )， 


p 
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* 


称做 伯努利概型， 全称为“有两种结局的 n 次独立试验的概率模型”，在这一节和 

下一节，我们将研究（在下面所指的意义下）伯努利概型的某些性质.用与之相联系 
的、随机变童和事件概率的术语,引进这些性质较为适宜. 

弓 I 进随机变量《1， ...，4 n ， 其中心==叫 , i = 1，…， n ，而 w = ( ai ， …， 

已经熟知，伯努利随机变童& = = ai，i = l ，. .， n 独立而且同分布： 


P{^i = 1} = p, P{6 = 0} = 1 - p 


<h < = 1 ， 


，n 




_ _ 


随机变量&表示在第 i 步（或时刻 i ) 的试验结果. 


设 Sq { lj ) = 0, 


& = Ci + …+ 6：， = 1， 

我们已经（在§4例 4) 证明， ES n = np , 从而 


，n 


S n 


( 1 ) 


— = p 


n 


P “成功”频率 S n / n 的平均值等于成功的概率由此自然产生一个 问题： “成功 
频率 SJn 对成功概率 p 的（绝对）偏差的大小如何？ 

我们首先指出，对于充分小的 e > 0和甚至很大的 n , 也不能指望对于任意 
频率 SJn 对成功概率 p 的（绝对）偏差都小于 e , 即不能指望对于任意不等式 


w ， 


G Q 


( 2 ) 


— P \ 彡 e ， 


n 


都成立 


事实上，对于0 < p < 1，由 


S n 


= {《1 = 1， 


P 


， = 1} = P ' 


* ♦ * 


S n 




p 


= 0} = q n , 


n 


可见，对于充分小的 e > 0 不等式 （2) 并不成立 

不过，我们指出当 n 很大时,事件 


S n 


S n 


2 = U 和 


— =0 


n 


n 


的概率都较小.因此，自然想到，当 n 充分大时使 


S n 


- p\ > £ 


n 


成立的“结局 a ； 的全体”的概率也较小.因此,设法估计事件 


Sn (^) 


—p > e 


CJ 


n 
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的概率.为此我们运用如下切比雪夫不等式.① 

切比 雪夫 （ n . JI . He 6 bnneB ) 不等式设 ( Q ,^, P ) 是某一概率空间，^ 

是非负随机变量.那么，对任意 e > 0， 




( 3 ) 


证明注意到. 


《 =+ < £) > 彡 e) 彡 el(^ ^ e), 


其中 1( A ) 是集合4的示性函数， 

于是，根据数学期望的性质 


o eE/(e ^e) = eP{o 


从而 （3) 式得证. 

系设 （ 是任意随机变量，则对任意 e > 0, 


□ 


刚 


P{i^l 


p{Ic-eosk 菩 

利用最后一个不等式，设卜 Sn / n ， 则由 §4 (14) 式，有 


⑷ 


& 


BS n 


npq 

n 2 e 2 n 2 s 2 ne 2 


m 


~^P 


于是 


S n 


PQ 


二一 p 


從 2 、 4ne 2 


(5) 


由此可见，当 n 充分大时，“ 成功” 频率 S n / n 对“成功”概率 p 的（绝对）偏差大于 

r 的概率充分小. 

对于 一 切 n 和记 


Pn ( k ) = C k n p k q n ^\ 


则 


S n 


E 翊， 


--P 




① n. 


HeGumeB 是俄罗斯数学家，按俄语语音应译为“切贝绍夫”（见《俄语姓名译名手 

册》 + 商务印书馆， 1982 : 《新俄汉数学词汇》，科学出版社， 1988 ). 英语文献一般译为 
Chebyshev . 我国有的文献按英语译音，译为“切比雪夫，，或“契比雪夫”.——译者 


JI . 


P. L 
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实际上证明了 （5) 式 


m 


E &㈨ 彡 


⑹ 


ns 2 ^ 4 ns 2 ’ 




即我们用概率的方法证明了不等式⑸.注意，假如不用概率的方法，而用分析的方 

法，也可以证明此不等式. 

由⑹可见 


Pn(k) — ^ 0 (n — ^ oo ) 


⑺ 


{M 咅 


该命題可以用图形作如下解释_图6是二项分布 { Pn ㈨ ，0 ^ fc ^ n}(p = 1/2) 


的示意图 


np + ne) 


6 (mi 


np — ne ， m2 






由图 6 可见: 概率 P n ( k ) 在 k = np 处达到最大值 P m , 其中 


Pm = 


6显示：若将概率 P n ( fc ) 对 fc 求和，则对于 np - ne ^ k^np + ne , 概率接近 1. 
我们把一系列随机变量 S Q ， S U …， S n 视为某游动的质点的轨道.那么，对⑺ 
式可以作如下解释. 

n 

过原点引3条 直线： k[p — e ), kp 、 k(p + e ). 那么，质点轨道总的趋势是沿直线运 

动.对于任意 e > 0,可以断定,对于充分大的 n , 表示质点在时刻 n 位置的点位 

_ 

于区间 [ n(p — e )， n(p + e )] 上（见图7)_ 

命题 （7) 可以表 示为： 




S n 


⑻ 


P 


0, 


p \>^ 


n 


不过需要指出，这里存在一定的细节，问题在于，假如概率 P 在某空间 (^) 
上，空间 ( n ^) 上定义了独立无穷伯努利随机变量序列•，则上面的写法是 
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k(p+e) 


S k 


kp 




o 


2 3 


k 


完全正 确的： 确实可以建立这样的对象，从而给 （8) 式赋予严格的概率意义（见第二 

章 §9 定理 1 系 1). 现在，如果希望赋予 （7) 式分析命题的含义，则用初等概率的语 
言,可以说明下述事实. 

设> 1，是伯努利概型 序列： 

a (n) = { 

』 (n) = { A : ACQ ^}, 

P ⑻ ({。⑻}) 二 p W n) 


(n) 


(n) 


(n) 




= 0 , 1 }, 




Q 


而 


5^V ⑹卜 (#)(>)),... 

其中，对于 n > 1/产，…，次）是独立同分布伯努利随机变量序列.那么 


, Si n \ u ^) 


p(n) 




UJ 


E 凡 ㈨ 


0， (n oo) 


⑼ 


― > 


{H 会 — 


式 （ 7 ) 〜 ( 9 ) 的命题称做 


“伯努利大数定律” 

应该指出， J. 伯努利证明的恰好是命题 （7). 其证明非常严格，利用了二项分布 
尾部”概率的估计，即对于满足 \ k/n - p \ ^的 fc 估计概率 P n ( k ). 对于充分大的 

,二项分布“尾部”概率 


E 

OI 吾 - 和 } 

的直接计算问题相当繁杂，况且所得“频率 S n / n 对概率 p 绝对偏差小于 e” 的概率 
估计式很难实际应用.因此，对于任意 p， 棣莫弗和拉普拉斯所创造的概率巧 (A;) 的 
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渐近公式特别重要，不仅重新证明了大数定律,而且得到了更精确的所 谓局部及积分 
极限定理，该定理的实质在于，对于充分大 n 的和至少满足 fc 


的 A :， 有 


np 


(k _np)2 

2npq 


Pn(k) 


e 


而 


y/n/pq 

y/n/PQ 






da :. 


大数定律的意义 下一节将给出上述结果的确切表述和证明.现在,我们讨 
论大数定律的现实意义，及其经验解释. 

假设进行大量，例如#系列试验，而每一系列试验包括 “ n 次独立试验，而每次 
试验以概率 p 出现某事件 C ”. 设 Sijn 是事件 <7 在第 i 系列试验中出现的频率，凡 
是“频率对概率的绝对偏差不大于系列数，即 






凡等于使 


< e 的 f 个数 


-P 


n 


那么，由大数定律可见 


n £ 


Pe ， 


( 10 ) 


N 


其中 


P € = Pi ^- p 


这里,重要的是强调，将 （10) 式精确化的尝试无疑将必须利用某一概率测度,像 
估计频率 Sn / n 对概率 p 的偏差 一样, 这种估计只有在引进概率测度 P 后才有可能. 

3. 观测次数考虑上面得到的估计 






( 11 ) 


n 


为回答下面数 理统计 的典型 问题: 对任意0 < p < 1,保证不等式 


S n 


P < — 


( 12 ) 


n 


成立的最小观测次数 n 如何？其中 a 是给定的通常较小的数. 

由 （11) 式可见，满足 （12) 式的最小观测次数,是满足 


(13) 


n> 4^ 


的最小整数 


n 
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例如，若取 a = 0.05, £ = 0.02, 则观测次数为12 500就可以满足 （12) 式，而且 
不依赖于参数 p . 

我们在下面（§6,第5小节）将看到，观测次数可以大为减小，因为切比雪夫不 

等式作为概率 


S n 


P 


P \^ ^ 


n 


的上侧估计太粗略. 


记 


4. 




C ( n , e ) = 

由大数定律可见,对于任何 e > 0,当 n 充分大时,集合 C ( n , e ) 的概率接近 1. 这时, 

C ( n ， e ) 中的轨道（实现 ） a ; 自然称做 典型的 [或 C ( n ,£)~ 典型的 ]. 

提出下面的 问题: 典型实现的条数 N ( C ( n , e )) 以及每一条典型实现的权 p ( a ;) 如 


U) 


n 


何? 


为此，首先注意到，基本事件空间 n 中点的总数 N ( n ) = T \ 而对于 P = 0或1， 
典型轨道只有一条：（1，1，‘.，，1)或（0,0，. -，0)，即 C ( n , e ) = l . 但是，假如 p = 1/2, 

则直观上显然，“几乎一切”轨道[只有（1，1，…， 1) 或（0,0,…， 0) 除外]都是典型的， 
因而轨道的条数接近 2". 

结果表明，对于0 < p < 1，所提出问题有完全确定的 答案: 无论是典型轨道数, 

还是权重 p ( u ;), 都决定于 p 的某一专门函数 

为更深入地揭示相应结果的内容，我们考虑§2第2小节中比伯努利概型更加 
一般的概型. 


“熵 


设 （ Pl ， P 2, …， Pr ) 是一有限概率分布，即满足条件 Pi + P 2 +… + P r = 1的非负 


实数. 称 


Pi In 

为概率分布 ( pup 2 ,-- , Pr ) 的姨，其中 In 是自然对数，且 OlnO = 0. 显然，好彡0, 

而且 H = 0 当且仅当在 m , P 2, …， Pr 中除某 一 个为1之外都等于 0. 函数 /(: r ) = 

lna :(0 < x < 1) 是（向上）凸函数.熟知，由凸函数的性质，有 

f ( x l ) + • 4 _ + f ( x r ) 


H =- 


(14) 


Pi 


一 X 


Xi + 


+ x 


• • 4 


彡 / 


r 


r 


从而 


Pl + … + Pr 


Pi + … + Pr 


^2 Pi ^ n Pi < 


H =— 


x In 


—lnr 


—r x 


r 


r 


换句话说，当 

H = H ( p ) 的图形见图 8). 


1/ r 时，熵达到其最大值（对于 r = 2,函数 


Pi = P 2 = 


=Pr = 
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如果把 Pl ， P 2, •…， Pr 看成某些事件，如 Ai , >12, ... ，人 
出现的概率，则完全 清楚： 出现某个事件“不确定性的 

程度”，对于不同的分布是不同的.例如， 

= 0,则该分布不具有任何不确 定性： 可以 
满怀信心地说，试验结果必然出现事件不过，如果 

1/ r , 则这样的分布具有最大的不确 

定性，因为甚至不能说哪个事件出现的可能性更大些. 

为比较不同分布的不确定性，需要有不同分布的不确 

定 性之度量的數字特征.熵 H 正是不确定性度量的恰当的数字特征.由下面的讨论 
可见，熵在统计力学、编码理论和通讯理论中起着重要作用. 


1， P 2 


Pi 


~ Pr 


Pi ~ P2 = 


Pr 






4 


• * 


函数 H { p ) 


假设 


S 7 = { a ; 


(fll ，… ’ ， On)) 叫 = 1 ， 


，广 } 


UJ 




_ ■ * 


(u；) 


M 


是基本事件空间，其中 p ( a ;) = pi 1 

的个数，而 （ Pl ， … 5 fV ) 是某一概率分布 


,其中 M ^) 是序列^中第 i 个元素 


U 


Pr 




对于任意 e > 0,设 


— Pi < M = 1 ， 


C(n } £) = 


OJ 




* 蠡 


n 


显然， 


i>{ 




P ( C ( n ， e))>l — 


— Pi 彡 S > ， 


n 


并且，由于大数定律知，该式也适用于随机变量 


1，若 
0，若 flfe 


a/t = 2, 


^ fc (^) = 


k ~1, 


， n ， 


_ • 


概率 




p 


— Pi ^ ^ 


n 


充分地小.因此对于充分大的 n , C ( n , e ) 的概率接近 L Rr = 2 的情形一样，进入 
C ( n t e ) 的轨道 称为典型的. 

如果所有内 > 0 (i = 1，…， r )， 则对于任何 a ； e 权重 


r 




E 


咖) 


^Pk 


exp 


~n 




n 


k~l 


因此，如果 a ; 是典型 轨道，则由 （14) 式，有 


r 


咖) 

h \~ 


"iM 


r 


E 

1 


i=l 


In pj — H < — 


— Pi x In Pi < -e 


n 
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由此可见，典型轨道的概率接近 
的条数“几乎” 穷尽 n 中的所有点，而 n 中轨道的条数应该为量级将以上的 

讨论归纳为下面的定理. 


，因为由于大数定律当 n 充分大时，典型轨道 


-nH 


e 


定理（麦克米兰 [B. McMillan]) 设扒 > 0(i = 1 ， … ， r)，0 < e < 1 ,则存在一 
自然数 n 0 = n 0 (£ ； pi, - - * ， p r )， 使对于一切 n > n 0 : 

a) e n ^- £ ) ^ N(C{n,s^)) < 

^ P [⑴ ）（ 


-n(H+e) 


e C(n,£i), 

c) P(C(n,6i)) = 咖） —l(n -> 00 )， 

uj £ C ( n , ei ) 


— n ( H—e 


b) 


e 


其中 


-x 


r 




s\ = mm s ，s 




fc=i 


证明命题 C ) 由大数定律得出.对于其余命题注 意到， 如果 o ; G 。化 / 乂贝 !! 


npk - sin < i/ k (uj) < np k + £\n (k = 1， • • * ， r )， 


因此 


p{uj) = exp {-E u k \np k ^ < exp{— n^pjtlnpfc -£in^lnp fc | 


^ exp|-n (i/ — 吾 )} 


类似地，有 


{-n ( 孖 + 臺 )} 


p(u)) > exp 


从而,命题 b ) 得证 

最后，由于 


P(C(n,e l ))^N(C(n,e 1 )) 


P « 


x 


min 

u ； eC(n,£i) 


则 


P(C(n, ei )) 


( 丑 +f); 


7 V ( C ( n ,£!))^ 


n 


< 


— e 


(孖+号) 


pM 


min 


— n 


e 


类似地，有 


P (^( n ,£ i )) 

max p(uj) 

u?eC(n,€i) 


> P ( C ( n , e 1 )) e ^- f ) 


N(C(n,e 1 ))^ 


由于 P(C(n,£i)) — ^ l(n —^ oc), 可见存在 r ^， 使对于 n > 〜，有 P(C(n ， ei)) 


> 


l—e ， 故 


e) exp {n ( 丑 —！) } = exp ^n(H - e) + — +ln(l » e) } 


哪(响)）>(1 — 
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假设叱满足：对于 n > n 2 , 有 


ne 


+ ln(l - ^) > 0 




2 


于是，对于 n ^ no = max { ni ,^ 2 }, W 


7 V ( C ( n ,£ i )) 


□ 


用概率 方法证明维尔斯特拉斯定理利用伯努利概型的大数定律，可以给著 

名的维尔斯特拉斯 （ K , T _ W . Wierstrass ) 定理“用多项式逼近连续函数”以简单而 


4 


雅致的证明. 


S /( p ) 是线段队1]上的连续函数.引进多项式 




n—k 


B n { p ) 


- p ) 


(15) 


, 0 < p < l，n > 0. 




该多项式称做伯恩斯坦 （ C . IL EepHinxeiiH) 多项式①，用提供维尔斯特拉斯定理的 


此证明的作者命名. 


如果<1，…，是独立伯努利随机变量序列，且 P{^i = 1} = pj P{^i = 1} = 


设 Sn = 6 + … + fn ， 贝！ 1 


msjn) = B n (p). 

由于在闭区间 [0,1] 上的连续函数 / = /( p ) —致连续,可见对于任意 e > 0存在 
5 > 0,使当 \ x - y \ 彡 <5时 \ f ( x ) - f ( y )\ < e . 显然,这样的函数有界： \ f { x )\ < M 

因此由不等式（5)，可见 


< oo 


E[/(p)-/Q)]c^V- a 


|/( P ) — B n ( p ) I = 


u) 




C k n p k q n ^ k 






/( P ) - / (y C k n p k q 


E 


n—k 


E C nP k < i n 

{ k ^- p \> s } 


2 M 


M 


—k 


< e + 2 M 




—— £ —i— ■■ 

2 nS 2 


4 nS 2 


由此可见，对于伯恩斯坦多项式（15)， 


\f(p) 一 B n (j>)| =0, 


lim max 

n—>oo 


这正是维尔斯特拉斯定理的结论 


① C . H . 伯恩斯坦 （C 


1968,乌兹别克斯坦统计学家).——译者 


, H , BepHmxeiiH , 1880 — 
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6. 练习题 

1. 设随机变量 （和 7?的相关系数为 P . 证明切比雪夫不等式二维类似 


p {| e - EC | rn \v - ^v\ > eV^n} ^ 

(提示.利用 §4 中练习题 8 的结果 .） 

2.设/ = f ( x ) 为非负偶函数,且当 r > 0时非减.设$ = 是非负随机变量， 

且 ieMi ^ c 3 证明对于任意 e > 0,有 


£ 2 


e/(o - m 




f ( C ) 


特别，对于/⑻二 


2 


工， 


2 


C 2 — 




£ 


彡 P {| 卜 


C 2 


2 


E 


3.设6,…，匕是独立随机变量序列， D & < C , 证明 

Ci + •_• + & E((i + ••.+&) 


C 


P 


(16) 




2 


n 


ne 


n 


(与关系式 （8) 有同样的补充说明，由不等式 （16)， 可见在比伯努利概型更一般的情 
形下，大数定律依然成立 

4 .设6,…，心是独立伯努利随机变量，且 P {^ = 1} = P > 0, P{^i = -1} = 
g(p + q = 1)，证明有如下伯恩斯坦 估计: 对于任意 a > 0,有 


S n 


2 




P 


—aen 


n 


其中 s n = h + … + (n〆 > 0， 

5 .设 $ 是非负随机变量，而 a > 0. 求概率 P {^ a } 的上确界,假如已知 

(1) E 卜 20; 

(2) Ef = 20， D 《 = 25; 

(3) Ee = 20, D ^ =邪，且 （ 关于数学期望 对称， 


伯努利概型 n . 极限定理（棣莫弗-拉普拉斯局部定理、泊松定理) 

I 

1. 棣莫弗-拉普拉斯局 部定理像上一节一样，考虑 


攀 


Sn = + …+ 


那么 


S n 


⑴ 


—=趴 


n 
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而由§4, （14) 式 


2 


S n 


PQ 


( 2 ) 


- P 


n 


n 


由⑴式可见， Srjn 〜 P , 其中关于等价符号 


曾以概率 


S n 




n 


的估计的形式，在大数定律中得到确切的解释.自然想到，由“关系式” （2) 亦可给 


S n 


m 


⑶ 


- p 


n 


n 


以确切的概率意义，例如，考虑形如 


S n 


P 


， x G M 




n 


的概率，或（由于 ES n = np , DS n = npq ) 考虑概率 

S n ~ ^ S n 


p 


彡 X 


如果对 n > 1，仍记 


P n ( k ) = C k n p 


k 〜 n_k 


， 0 ^ fc ^ n, 


Q 


则概率 


S n — ES'n 

"VBC 


E Pn(k) 
时求概率 P n ( k ) 及其和 


P 


彡 X 


⑷ 


现在提出问题： 当 


n — > oo 


E Pn(k) 




JL. |fe-np| 

ft / , J - 


满足的便于应用的渐近公式. 

下面的定理，对于既满足 | A : - = 0(y/npq) 又满足 | A : - = o(npq) 2 ^ 3 09 k 

值，给出了答案. 

局部极限定理设 0 < p < 1， 则对满足 | A :- 即 | = o ( npq ) 2 ^ 的所有 k ， 一致有 


2 


Pn(k) 


(5) 


2npq ， 


e 


r^j 


p 当 


时 


n —^ oo 


Pn(k) 


⑹ 


0, 


sup 


2 


2npq 


e 
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其中 ip ( n ) 是任意满足 ( p ( n ) = o ( npq ) 2 ^ 的非负函数_ 

证明对于证明，主要用到斯特林 （ J. Stering ) 公式（§6,⑵式) 

(l + i 2( n ))， 


n ! = \/27 rne 一 


n^n 


n 


其中当 


时 R ( n ) 0 

根据斯特林公式，若 


71-^00 


oc ， > 00 , n 〜 fc 一 oc , 贝 (I 


n 


n 


k 


c 


n 


k\(n — fe )! 


y /2 ime ~ n u n {l + i ?( n )) 


yj 2 ivk x 2 ix\n — k ) e ~ k k k (n — A :) n — fc e—( n — fc )(l + R ( k))(l + R(n — k )) 


1 + e ( n , k,n — k ) 


x 


k 


n — k ’ 


其中当 


fc —> 00 时，显然 e ( n , k,n — k ) 


oo y k oo，n _ 


0. 


Tl - > 


— > 


因此 


p k (l - p) n ^ k (l + e ) 


Pn ( k ) = C k n p k q n ^ k 


X 


fc 


n—k 


k 


k 


k 


k 


27rn- 1 一 _ 


n 


n 


n 


n 


iS p = A :/ n ， 贝 lj 


k 


ti — h 


Pn ( k )= 


(1+4 


1 — p 

1 -p 


P 


exp ^ A : In - + (n — A :) In 


(! + e ) 


x 


P 


} 


k 


k 


1 _P 
1 


P 


—In 孓 + 1 —— l n 


x (1 + e ) 


exp < n 


n 


P 


n 


exp {- nH ( p )} x (1 + e )， 


其中 


1 — x 
I — p 


x 


H ( x ) = a:ln — + (1 — x ) ln 

所考虑的 fc 满足 |fc - np | = o ( npq ) 2 ^, 故当 
由于对 0<; r<l 


时 


0. 


TZ — OO 


P — P 




-In 户， 

1 — ^ 


X 


H f ( x ) = ln - 


V 


H " ( x ) 


—+ ^ —， 




x 


— X 


H " f ( x )= 一 


+ 


2 


(1 ― x ) 


2 


X 
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因此,若将 H ( p ) 表示为 H ( p ^( p - p )), 并利用泰勒 （ B , Taylor ) 公式，则当 n 充分 

大时，有 


H(P) = H(p)+H f (p)(p-p) + -H ff (p)(p^p) 2 + 0(\p-p\ 3 ) 

{P-P) 2 + 0(\p-p\ 3 ). 


1 


1 


1 


— j — —、 

V Q 




2 


从而 


+ nO (\ p ~ p \ 3 ) [ x (1 + e .) 


Pn(k )= 


exp 


注意到 


2 


2 


(fc - np) 

2npq 


k 


n 


(P~P ) 2 = 


- P 


2pq 


2 列 


n 


因此 


2 


(1 + e ’( n ， k ， n - k ))， 


Pn ( k ) — 


2npq 


e 


其中 


p(i - p ) 

识 1 — 扔 


1 + e f (n, A:，n — 灸 ） =[1 + e(n, k，n — fc)je n0 (l 步一 ㈣ 3 ) 


易见 


sup \e f (n, k,n — A :)| —> 0, 


n —^ oo, 


其中 sup 对满足 


k — np\ ^ ip(n), ip(n) = o ( npg ) 2 ’ 3 


的 A ; 来求. 

系局部极限定理的结论，可以表述为如下等价的形式：对于一切 
o ( np ^) 1 / 6 , 而 np + Xy/npq 是集合 {0，1， …， n } 中的整数，则 


□ 


\若 


x G 


x 




X 2 

3 


P n (np + Xy/npg) 


⑺ 


e 




时 5 有 


即当 


n — ^ oc 


Pn(np + x y / npq ) 


⑻ 


~ 1 ―> 0 


sup 

(x ： |a ； K^(n)} 


x2 

2 


e 


其中 ♦[ri) = o(npq) 1 / 6 . 

注意到关于 §5 中 （ S ) 式的说明，可以用概率的语言将上面得到的结果表述为 


2 


(fc —np) ‘ 

2npq 


j \k — np\ — o(npq) 2 ’' 


P{S n = A；} 

S n — np 
^nPQ 


⑼ 




卜 


2 


(啊 ) 1/6 




P 


(10) 


2 


■ ■■■ 


e 


jX = o 
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为值 •) 


(假设在 （10) 式中 np + Xy/npq 取0,1， 

假如设 


,n 


k — np 

y/rm ’ 


At 


tfc+L — = ~/ — ， 

y/npq 


tk — 


k — 


M (10) 式具有如下形式 


At k 

—~ ———— n 2 


Sn^ESn 


， = o(npq) 1/e 


(11) 


P 


= 


时 


显然当 


n — oc 


Atk = 


0, 


^/^pq 

而点 4 的集合 {4} “充满”整个数轴.因此，自然想到由 （11) 式可以得到积分公式: 


S n - np 

^/npq 

下面将给出确切的表述. 

様莫弗-拉普拉斯积分定理 对于 - 00 < a < 6 < oo , 设 

Pn ( a , b ] = ^ 


^ dx , 


P <a < 


彡 6 


— oo < a ^ 6 < cxd. 


e 


\^2 n 


« 


P n (np + Xy/npq ) 7 


a < x^b 


其中对一切使 np + x^/rvpq 为整数的 x 求和， 

由局部定理可见（亦见 （11) 式)，对于由 fc = np + t k ^frvpq 决定且满足条件 

|^ fc | < T < oo 的4,有 


v /2^ 


P n (^P + tk^/npq) 


1 + e (4, n )]， 


( 12 ) 




其中 


sup |e(tfe,n)| 0,n —> oo. 

\t k \<T 

从而,对于固定的 fl ，6 (- r 彡 a 彡 6 彡 r , 而 r < oo )， 

A 4 - l l 


(13) 


△tfc 一 li 

\/27 r 

dx + R^(a,b) 4 - R^(a,b). 


E 


E 


^2 e (4， n ) 


Pn(np-\-tky/npq) 


e 


e 




a < tk^,b 


a < tk^b 


a < tk^b 


(14) 


y /2 n 


其中 


砣 W 卜 E %^ x ▲ 

a< tfc a V2?r 物 

R^(a,b)= 也 n ) 等 」 1 

a<t k (b V T 


e ~^~ dr ， 


e 
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由熟知的积分和的性质， 


I 砍 )(M)| 


(15) 


0, 


sup 


n — ^ OO 


同样易见 






\ R ( ^( a , b )\< 


sup 


sup 

\tkKT 


\tkKT 


T 


2 




e 一 t dx + 


(sup \£( t ky n )\ x 

\ t k KT 


(16) 


0 


sup 

— r «6 彡 t 


\/27 r 


— T 


其中右侧收敛于0,是因为 （15) 式以及数学分析中熟知的事实 


T 


x 2 

~^dx 


2 


X 


e^^dx = 1 


(17) 




e 




一 T 


记 


X 


2 


t 


岭卜 ； L 


eidt ， 


则由 （14) 〜 （16) 式可见 


\ Pn ( a 7 b }- mb ) - $( a )]| 4 0 ，n 4 oo 


(18) 


sup 

-T^a^b^T 


现在证明，该式不仅对于有限: T 成立，而且对于 T = oo 也成立.由于 （17) 式， 

对于任意给定的 s > 0,存在有限 : T = T ( e )， 使 


T 


x 2 


£ 


dx > 1 —— 


(19) 


2 


e 


\ Z 2 ?r 


4 


-T 


根据 （18) 式，对于任意£>0,存在 7 V ， 使对于一切 n > iV 和 r = T ( e ) y 有 


e 


|F n (a,6]-[$(6)-$(a)]|<^ 


( 20 ) 


sup 


4 


— r «6 <T 


由此和 （19) 式，可见 


s 


八 (一 r ， r]>i 一； 


2, 


因此 


£ 


Pn(—OO ，一 了 ] + OO) ^ 


2 


其中 


P n (- oo , T ]= lim P n ( S ， nP n ( T J oo ) = lim P n ( T , S ] 

Si-oo S^oo 
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ma <6< T < oc ， 有 


这样，对于任意 


— 00 


T 


b 




2 


e-V d x|<|P n (-T,T]»^ 


dx 


Pn ( a , b ] 


e 




\/27 T 


-T 


a 


b 


-T 


Vdrr 


_ .. i 

2 dx 


+ A ( T ， fc ] 


+ Pn ( a ，一 了 


e 


e 








\/27 T 


\/2 tt 


7 


a 


-T 


2 




s 


X 


^- + P n (-oo,-T] + - ? = y _ 

e e s e 

- + 一 + — + 

^4 2 8 8 

注意到 （18) 式，由此容易证明 P n ( a , b ] 关于 — 00 彡 a 彡&彡 00 —致趋向$(6) 

步⑷.于是,证明了下面的定理. 

棣莫弗-拉普拉斯积分定理设 0< p < l ， 

I 

P n { k ) = C ^ p k q n ~ k y P n { a , b ] = P„(np + Xy / npq ). 

a < x^b 


dxH ： P n ( T , oo ) + 


e 一 Tdx 


2 


e 


\/27 T 


T 


£. 








那么 


2 dx 


Pn ( a , b ] 


( 21 ) 


0, 


sup 

— oo^a<6^oo 


e 


Tl — > OO 






\/2 n 


a 


精确到 §5 中 （8) 式所指，可以将 （21) 式的结果用概率的语言表 示为: 

q rp q 

On — 

由此可见，对于任意 -oc < 4 < 00,有 


2 


— -» 

2 dx 


(b 


sup P < a < 

— oo^a<6^oo L 


o , 


e 


n —^ oo 


― > 


\/27 r 


a 


A — np 
y/rm 


B 


np 




P{A < S n ^ B } 


( 22 ) 


$ 


-伞 


0, 


n —> oo 




yjrm 


例将规则的色子掷 12 000 次.问 “6 点”出现的次数属于区间 （1800,2100] 的 
概率 p 如何？ 

所求概率等于 


k 


n —fc 


5 


E c 


k 


P = 


12 000 


6 


6 


1800< fe ^2100 


显然，用“手算”精确地算出该和的值是相当困难的.假如利用积分定理，则求 

得此概率 P 大致等于 （n = 12 000, p = 1/6,^ = 1800, B = 2100): 


2100 — 2000 


1800- 2000 


$ 


—少 


5 


12 000 X 6 X 6 


12 _ W 




= 少 (\/ S ) —尘(―2\/^) » 少 (2,449) — $(-4.898) » 0,992, 
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其中办 (2.449) 和 $(-4.898) 的值，由正 态分布函数的 $( x ) 数值表査出（参见第6小 


节) 


二项槪率的正态通近把二项概率 P n (np + x ^/ npq ) (假设只考虑使 np + 
yfm 为整数的 X )标在图上（图9)， 


3 




X 


P n (np+x^Hpq ) 


X 2 


9 


那么，局部定理表明，对于 ; r = o ( npq } 1 ^ 6 ^ 概率 P n (np + x ^/ npq ) 的值较好地“位 
于”正态密度曲线上： 


工 2 


e 


由积分定理知，概率 


P n (a,b] = P{ay/npq < S n — rvp ( b^/npq} 

=P{np + ay/npq < 5 n < np + by/npq} 


的值可以较好地由积分 


6 


^dx 


e 




逼近 


记 


s n — np 

y/npq 


F n ( x ) = Pn ^ OO . x ] ( = P 


彡 X 


那么，由 （21) 式可见 


|F n (x) — $(x)| — 0，n 

重要的是在 （21) 和 （23) 式中， 随着 n 的增长趋向 0 的速度如何.这里引用的结 
果是贝里-埃森 （ A . C . Berry - C . G . Esseen ) 定理的特殊情形（第三章 §11): 

P 2 + q 2 

y/npg 

要特别强调,估计 l/^/npq 的量级不能再提高了.这指的是，当 p 的值接近0或 
1时，甚至对于充分大的 n ， 用函数 0( x ) 逼近 F n ( x ) 的效果可能不佳.因此产生一个 

问题，当 p 或 g 的值较小时,能否为我们关心的概率，找到比局部和积分定理给出的 
正态分布更好的逼近.为此我们指出，当 p = 1/2时二项分布 ( P n ( fe )} 具有对称的形 

状（图10左边的图).不过，当 p 较 小时,二项分布的形状是非 对称的 （图10的右边 
的图),不能指望用正态逼近有好结果. 


(23) 


sup 

—cxj^x^oo 


— > DO 


F n ( x ) - ^( x )\ < 


(24) 


sup 

— OO^X^OO 
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尽 (*) 


Pn ( k ) 


0.3 


0.3 


产 1/2, w=10 


0.2 


0.2 


0,1 


0 J 


0 2 4 6 8 10 


0 2 4 6 8 10 


10 


4 - 泊松定理结果表明，对于 较小的 p 值，概率的 所谓泊松分布 可以很好地逼 


设 


，若 A = o ， i ， 


，《， 


Pn(k) = 


^ A : = n + 1, n + 2, —- , 


0, 


且假设 p 是 n 的函数 p = p ( n ) 

泊松定理设 p ( n ) 0, 

fc = 0,1，…，有 


且 np ( n ) ^ A , 其中 A > 0. 那么，对于任意 


n — ^ oo 


Pn ( k ) 


(25) 


开 fc ， 


n — oo , 


― > 


X k e~ x 


， fc = 0,1， . ， 


(26) 


7T 左 = 


fc! 


证明证明十分简单.由于根据条件 


⑴， 


A 


= — ~h 0 


n 


可见对于固定的& = 0,1，…和充分大的 


n ， 


Pn ( k ) = C k n p k q 


n—fc 


k 


n—fc 


(n — ”… (“ +1 L 4-M9] 


n 


k\ 


由 


k 


i + °(yj 


n(n 一 1) . •. (n — fc + 1) 
n(n — 1) •… (n — fc + 1) 


[A + <?(1) 产一 ^ A 


k 


， n — oo 


k 


n 


和 


n—k 




A 


一 A 


1 —— +0 


，n —> oo , 


n 
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立即得 （25) 式. 

数组{%， A ; = 0,1…}，满足 


□ 


M > o ， y ^ 


丌 = 1 ， 


fe=o 


因此可以作为概率分布，称做泊松分布.注意，以上所讨论的概率分布都集中 在有限 
个 点上.泊松分布,是我们第一次遇到的集中在 可数个 点上的（离散型）分布的例子. 

时概率 P n ( k ) 收敛 


下面引进的 （KX B . 普罗霍洛夫的）结果，给出了当 
于 7 Tk 的速度：如果 np ( n ) = A ，则0 


n — > oo 


2A 


min (2, A ) 


(27) 


X 


棣莫弗- 拉普拉斯定理与大数定律我们再回到棣莫弗-拉普拉斯极限定 


■ 


理•（在§5 对 （8) 式说明的前 提下） 说明如何由棣莫弗-拉普拉斯极限定理，得出大 

数定律.因为 


S n 


S n — np 




< £ 


n 


所以由 （21) 式可见，对于 e >0, 当 


时 


rz — oc 


Vn/pg 

\/rt/pq 


S n 


6 




--P Ue 


(28) 


0, 


e 




v/^F 


n 


一 e 


因此 


S n 


P 




n —> oo . 


n 


此即大数定律的结论 

由 （28) 式，可见 


V^/pg 


£ 


S n 


-咢 dx ， 




(29) 


e 


n — oo , 


V 2 tt 


n 


y/^JpQ 


一 e 


然而，切比雪夫不等式只能给出下面的估计 


S n 


PQ 


P 




在§5第3小节关于为使不等式 


S n 


P 


- p < e > > 1 - a 


n 


) 较弱结果的 证明，将在第三章§12介绍， 


* 
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成立所需要的观测次数，由切比雪夫不等式得到下面的估计 


(= 几 1( a ))， 


n 彡 


4 e 2 a 


其中 M 是 a : 的整数部分.例如，对于 e = 0.02, a = 0.05, 需要 12 500 次观测.现在， 

利用等价关系式 （29) 解决了同一问题. 

我们由关系式 


fc(a) 


e~^dx = 1 — a 


^/2 n 


— k(a) 


求 k ( a ). 由于 


n 


— ^ QiSy/ri^ 


e 


PQ 


并由不等式 


2 e\fn ^ fc ( a ), 


(30) 


求出（最小整数)，得 


S n 


P 


(31) 


P ^ >1-a 


n 


由 （30) 式， 可见 n = n 2 ( a )， 其中 


k 2 ( a ) 


几2(^0 


4 e 2 


可以保证 （31) 式成立，其逼近精度容易由 （24) 式得到. 

取 e = 0.02, a = 0.05, 可见只需要 2 500 次观测，而不是切比雪夫不等式要求的 
12 500 次.下面对于一些 a 值，列举相应的 值： 


0.50 0.317 3 0.10 0.05 0.045 4 0.01 0.002 7 

k ( a ) : 0.675 1.000 1.645 1,960 2.000 2.576 3.000 


a : 


正态分布前面在棣莫弗-拉普拉斯积分定理里，引进的函数 




令 dt ， 


^( x ) 


(32) 


e 


\/2 tt 


在概 率论里起非常重要的作用，称 做正态分布函数或高斯分布函数.函数 


咖） 二 


, x G 


e 


V2tt 


称做正态密度或高斯密度. 

我们已经见到过在 有限或可数点 集上的（离散型）分布.正态分布属于概率论中 
另外一种非常重要类型的分布 一 连续型分布.正态分布之所以非常重要，首先是 
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因为在相当一般的条件下，大量独立随机变量（未必是伯努利变量）之和的分布，可 
以很好地用正态分布来逼近（第三章 §4). 我们现在讨论函数和 Mx ) 的一些简 

单性质，而图11和图12分别是 pOr ) 和 ^( x ) 的图形. 


0J99 


0-319 


x 2 /! 


0*242 


一 1 


0.058 I— -H - 

0.014 U 


1 


一 3 


-2 


0 0,67 1,96 2,58 


一 1 


m 11正态分布密度 ^( x ) 图 


1.0 


0.9 


® (文户 nz~ f ^~^dy 


0.8 


0.75 


OJ 


0.6 


0. 


0,2 


一 4 


-2 


0 


2 


4 






0.25* |) 
0.52 ^ I 


0.67 


0,84 _ 


1,28 


12正态分布函数 ^( x ) 图 


函数 ^( x ) 的图形是关于纵轴对称的钟形曲线，随着 W 的增长下降得非常快 

ip ( l ) = 0*241 97,( f {2) = 0*053 991^(3) 

0.000 016. 该曲线在 ar = 0 达到最大值 (2 n )~^ 2 « 0.399. 

随着; T 的增长，函数 


0.004 432 ? ^(4) = 0.000 13切 (5) = 




e~Vdt 


0.841 345, $(2 )= 


OO 


曲线趋向1极快： 4>(1) 


0.977 250, ^(3) = 0.998 650, $(4)= 
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0.999 96§，$(5) = 0.999 997. 

关于函数 p (: r ) 和 $( x )， 以及概率论和数理统计中其他一些基本函数的数值表, 


参见问 


需要指出，在进行计算时，除函数少⑻外,还常使用与之相近的误差函数 


2 


-t 


erf(ar) 


dt, x > 0 


e 






0 


显然,对于 : r > 0,有 


X 


’ erf(jr) = 2$(V2x) 


^(x) = - 1 + erf 




V 2 


2 


7. 成功频率对概率的偏差满足一定要求的试验次数在§5第3小节的最后曾 

经指出，由切比雪夫不等式给出的事件 


S n 


P > £ 


U ) 


n 


概率的估计是相当粗略的.这一估计对于非负随机变量 X ，是由切比雪夫不等式 


EX 2 


P{X ^ 


2 


£ 


得到的，不过可以利用切比雪夫不等式的另一种形式 


T7X 

P{^ P{X 2 k ^s 2k }^ 

然而，还可以更进一步,利用切比雪夫不等式的“指数”形式 ：对于 X > 0和 A > 0, 


(33) 


* 


P{X ^e} = P{e AX ^ e A£ } < Ee A(x ~ e) 


(34) 


由于 A >0 的任意性，可见 


P{X ^ e} ^ inf Ee A (x 一 e ) 

入 >o 


(35) 


我们讨论，当 X = S n / n , S n = & + •"+ f n ，P 仏 =1} = p , P{^i = 0} 
时,沿此路径将导致何种结果. 

记 p ( A ) = e A 6 ,则 


q y i > 1 




^p(X) = 1 — p + pe 入， 


且在假设6,…，^独立的条件下，有 


XS 


b ㈧ r 


Ee 
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蠡 


■ 


因此，对于 0< a < l ， 


S n 


inf Ee A (^~ a ) = inf e _0— ln K 会 )1 

A>0 


P 




A>0 


n 


—n sup[a5—In <p(s)] 

s>0 


=inf e —咖— s) ) = e 


(36) 


s>0 


类似地 


S n 


—n sup[a«—In tp(s)] 

S<0 




(37) 


n 


当 p 彡 a 彡 1 时，函数 /( s ) = as - 

值，其中点 M 决定于 


ln(l - p + pe s ) 在点 s 0 [ f ( s 0 ) = 0] 达到最大 


a(l ~p) 

p(l — a ) 


So 


e 


因此 


sup /( s ) = H ( a ), 


s>0 


其中 


1 — a 


a 


H ( a ) = a In — + (1 — a ) In 

P 

是前面证明局部定理时引进的函数（第 i 小节). 

这样，当 p < a < 1时 


1-p ， 


S n 


—nH(a) 




(38) 


n 


而由于 H(p + x ) > 2 x 2 ,0 ( p + a : < 1，则对于 e >0,0< p < l , 有 


S n 


2 


—2ne 


P< —<e 


(39) 


n 


类似可得，当 a < p < 1 时 


Pi — 


s n 


—njf(a) 


(40) 


n 


从而，对任何 e >0,0< p < l ， 有 


S n 


2 


一 2ne 


P 


(41) 


- P ^ 


< e 


—s 


n 


于是 


S n 


2 


— 2ne 


p 


(42) 


- p ^ e > ^ 2 e 


n 


由此可见，对于任意0 < p < 1，保证不等式 


S n 


P 


(43) 


- p \ ^ e > ^ 1 - a 


n 
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成立的观测次数 n 3 ( a ) 决定于下面的公式 


ln(2/a) 


(44) 


n 3 ( a ) 


2 e 2 


其中 M 是 x 的整数部分.不取“整数部分”，直接将 n 3 ㈤ 与 m ( a ) = [(^ ae 2 )- 1 } 比 
较，可见 


ln (2/ a ) 


ni ( a ) 
ns ( a ) 4 ae 2 


1 


T oo, a 丄 0 


2 


2 e 2 


2 aln — 


a 


由此可见，当 a 丨 0 时，由指数型切比雪夫不等式 （34) 估计的 最小必 须要的观测次 

数，比用一般切比雪夫不等式估计的次数更为准确，特别是对于较小的 a . 利用将 tiE 
明的关系式 


t ； 2 

乍 d 


e 


， ：r — oo, 


e 


y 


V2tt 


7 TX 


可以证明，当 a 丄 0 时 A : 2 ( a ) ~ 21 n (2/ a ). 于是 


ri2(ct) 

n 3 (a) 


l，a 丄 0 


像 （38) 〜 （42) 式类型的关系式，在概率论中称做大 偏差概率的不等式， 下面是 
对这 一 名称的解释. 

利用棣莫弗-拉普拉斯定理，可以简单地估计事件 - np | < 的概率， 

此事件表示&对 np (数量级»的“标准”离差.而不等式 （39),(41) 和 （42) 对 


{\ S n - np \ ^ x \/ n } 


给出的估计描绘量级大于 > 的离差，其数量级为 

我们将在第四章§5中，在更一般的情形下研究关于大偏差概率的问题. 

8. 练习题 


n. 


100, p = l /10 ，p = 2/10 ，p = 3/10 ，p = 4/10, p = 5/10. 利用（例如文献 

[6] 中的）二项分布以及泊松分布的数值表 ®， 将概率 


1暑设 


n = 


P {10< 5 100 ^ 12}， P {20< 5 ioo ^ 22}， 
P {33< ^ioo < 35}, P {40< S 100 ^ 42}, 

P {50< 5 ioo ^ 52} 


与正态逼近和泊松逼近的相应数值进行比较. 

2.设 p = 1/2,而 Z n = 2 S n — n ( n 组试验中1 比 0 多出 的个数).证明 


i 2 /4 


SUpIv^Pf^n =j} 


0, 


— e 一 


n —> oo 


⑦亦可 利用： 中国科学院数学研究所编的《常用数理统计表》，科学出版社，1974年. 


译者 
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攀 


3,证明泊松定理（对于;^ X / n ) 的收敛速度为 




sup P n { k ) 


k \ 


n 


k 


(证明可以参见第三章 §12.) 


7. 伯努利槪型中“成功”槪率的估计 


1. “成功”槪率估计的概念和性质（相合性，无偏性和有效性).以上讨论的伯 


努利概型 


(H,^^ ， P)，Q = {a; 

^ { A : AC . f 2}, P ({ c <;}) = 

p ( u ?) = Xi (l — p ) n_ ^ x % 




)，A = 0,1}, 


: u 


X 




假设 p (“成功”的概率）的数值已知. 

现在假设 P 事先未知，并希望根据对试验结局的观测结果，或由对随机变量 

这是 数理统 计的典型问题之一， 


6,…，^的观测结果来确定 P ， 其中= 

有不同的提法.我们下面讨论问题的两种提法 :估计 问題和建立置信区间问题. 

沿用数理统计中普遍采用的记号，未知参数 P 记作彡，并认为是验前的 （a priori ) , 
R e 的值属于集合 e = [0, l ]. 通常称“由 


X4 


* 


^ = (r*，e 0) ， Pe(W}) = e^ Xi (i~e) 

确 定一个（对应于 s 次独立试验’且 ‘ 成功’概率为沒 e e 的） 概率-统计模型 ”， 而 
任何在 e 中取值的函数 T „ = T n ( u ;) 称做估 计量. 

如果设 


x i 


S n 


则由大数定律可见，估计童 r n * 称做相合的，若对于任意 e > 0,有 


P e {\ K - e \^ e }^0, 

此外，估计量 G 称做无偏的，如果对于任意 eee , 


( 1 ) 


71 — 00 


= e, 


( 2 ) 


其中 Ep 是对应于概率 P0 的数学期望. 

估计童的无偏性是一条很自然的性质，它反映如下 事实： 由任何合 理的估 计量， 

至少在平均意义下都应当得到所期待的 结果. 不过，估计童 7；* 并非唯一无偏估计童. 
例如，对于 &1 +…+ & n = n ， 任何一个估计量 

^1^1 + …+ ^nCn 


T n = 


n 
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都是无偏的.这些估计量都服从大数定律 （1) (至少对于|~| ^ K < oo ), 从而，这些 
估 计童几 也和一样是“好”估计量. 

于是，产生一个 问题： 如何比较不同的无偏估计量,它们之中哪一个应称做最好 

的、最优的. 

按估计量的本身的含义，自然应当认为估计量对被估计的参数的偏差越小越好. 
基于这样的考虑，称估计量 fn (在无偏估计 r n 类中）为有效的，如果 


U e T n = inf D ^ T n , 


(3) 


T n 


其中 n e T n 是估计量 r n 的方差，即 e 9 ( t u - d ) 

现在证明上面所考虑的估计量 7；* 是有效估计量.事实上，有 

n e s n nd(i - e) — 


2 




D^T* = Be 


(4) 


2 


2 


n 


因此，为证明估计量 7；* 有效，只需证明 


^(1 - 9) 


inf D d T n 彡 


(5) 


T n 


n 


对于0 = 0和1，不等式显然，现在设0 e (0,1) 且 

Pe(x i ) = e^(1^0) 1 


-Xi 


显然 p 0 ({ u ;})= p 咖)，其中 


Pe{^) = Y[pe(xi) 


记 


L 0 ( uj ) = In p 0 ( uj ). 


那么 


L 0 ( u ;) = In 9 ^2 x i + ln(l - 9) y^(l 

i^l i^l 

fir / \ 5Z ( x i ~ 

oLq(u;) i= i 

o { i - e ) ' 


- Xi ), 


dd 


因为 




el 


且由估计量 r n 的无偏性 


^eT n = J2 T o(^)Pe(^ 
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* 


所以经对0求导，得 


Ope (^) 


dp $( u ;) 


dL e ( uj ) 


oe 


E 


E 


p$M 


0 = 


e 




do 


de 


dpe (^) 


dL e ( cv ) 


do 




Po (^) = 


T n 


e 


Pe (^) 


de 


因此， 


dL e ( ui ) 


( T n - 0) 


9 


dd 


而根据柯西-布尼亚科夫斯基不等式 


2 


8 Lq ( cj ) 


1 < B 0 ( T n -6) 2 xE 


$ 


de 


于是， 


E 0 ( T n -9) 2 ^ 


⑹ 


In(O ) 1 


其中 


2 


dLe{uj) 


In(O)= 


B 


oe 


称做费希尔信息量. 


由 （6) 式得无偏估计量的所谓拉奥-克拉默 （a R . Rao - G . Cramer ) 不等式的 


特殊情形 


inf D 0 r n 彡 


⑺ 


In(0) 


T n 


对于所讨论的情形，有 


2 


i —1 

6(1 - 6 ) 


2 


dL e ( uj ) 


(丄—沒） 

[e(i^d)\ 2 6(\-ey 


n 


n 


In {^) = 


e 


e 


de 


从而不等式 （5) 得证 • 如我们曾提到的那样，由此可见 7；* = S n / n 是未知参数0的 

有效估计童. 


成功”概率的置信区间显然，把 r n * 当作沒的“点”估计量，我们就犯了 

，〜 计算的数值 r n *， 对0 


某种错误.甚至有可能出现这样的情形，由观测数据 
的真值有相当大的偏差.因此最好再指出误差的大小. 

不能指望对 所有基 本事件4 I ；* = T *( u ) 都能与未知参数0的真值差异甚 
小，这也是毫无意义的.不过，由大数定律，知对于充分大的 n 和任意 d > 0,事件 
{\0 - T *\>6} 的概率都充分小_ 


工1, 


* _ _ 
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根据切比雪夫不等式,有 




S 2 


因此，对于任意 A > 0 ,有 


0(1 ―沒) 


<A 


> 1 — 


A 2 * 


n 


例如，取 A = 3 ,则事件 


\ e - T ；\^3 


出现的概率 P 0 大于 0.8888 (1 - 1 / 3 2 = 8/9 « 0 . 8888 ). 特别，因为 {^(1 - 0 )^ 1 / 4 }， 

故事件 


3 




出现的概率 P 0 大于 0.8888 


于是， 


p +- = + 


3 


— 代 + 57^ 0 .祖 


换句话说，可以断定“未知参数 0 的真值”以大于 0.888 8 的概率属于 E 间 


3 


3 


T 1 * _ — T* -A _ *1— 

n 2 ^ n + 


有时将此命题简单地表示为 


3 


e ^ r ：± 


(> 88%)， 


2y/n 


其中“> 88 %”表示“在概率不小于 88 %的情形下 




区间 


rp^ 

^ n 


3 


3 


" V ^ ,Tn * + 


就是“未知参数的置信区间”的一个例子 

定义称形如 


[矽 1(0；)，於 2( W)J 

的集合为置信度 1 - J 的置信区间（或显著性水平为 J 的置信区间)，如果对于一切 

9 eQ ， 有 


Pe {^ i ( 0 ) 《 9 ( ^ 2 ( 0 )} 彡 1 — < 5 , 

其中呶 ( a ;) 和 iP 2 ( uj ) 是基本事件的两个函数. 
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上面的讨论表明，区间 


A 


A 








2 x / n , 

的置信度为1 - 1/ A 2 . 实际上,置信度要远远高些，因为由切比雪夫不等式只能得到 
事件概率的粗略估计，为得到更精确的结果，注意到 


2 ^/n 


0(1 - 6 >) 


： \0-T：\^X 




U) 


n 


其中叭 = MT ^ n ) 和* = MT ^ n ) 是如下二次方程 


A 2 


( 9 ^ T ：) 2 =- 9 ( 1 ^ 0 ) 


n 


的根，该方程描绘图 13 所示的椭圆.现在记 


S n — 710 


F^(x) = P 0 


彡 x 


nO(l — 9) 


那么，由 §6(24) 式，可见 


sup|F e n (x) - ^(x)\ < 


ti^(i — d) 


x 


因此，假如事先已知 




其中 △ 是某一常数，则 


sup \F^{x)- ^(x)\ ^ 


X 


从而 


n)^e^ MT^n)} =Po{\O^T：\^X 


— Tl9\ 


=P 


^ [2$( A ) - 


e 


设 A * 是满足 


[2$( A ) 一 1]— 




^ 1-8 


Ay/n 


的最小 A 值,其中 P 是给定的显著性水平 • 记 <5 = P - 2/( Av ^), 则是如下方程 


的根 


^( A ) = 1 


2 
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当 n 较大时，可以忽略项 2/( Ay ^)， 认为 A * 满足关系式 


叫 *) = 1— 了 


2 


例如，若=3,则1 - =0_9973…因此大致以概率 0.9973, 有 


0(1 — W 


6(1 - 9 ) 


T n *-3 


^ ^ T * + 3 


⑻ 


n 


n 


而经迭代和忽略量级为 0( n ， 4 ) 的项，得 




^ 6> ^ + 3 


T:-3 


⑼ 


n 


由此可见，对于充分大 n 的，置信区间 


3 


3 




的置信度为0.9973,然而由切比雪夫不等式得到的置信度只有 0.8888. 

由此可以得到如下实用的结果.假如进行大数量 iV 系列试验，每系列试验根据 
次观测的结果估计参数那么，平均在97.33%的情形下，每一系列 n 次试验，估 
计量与参数真值的差别不大于 3/(2^). (关于这一结果,亦可参见§5的末尾 .） 

练习题 

1. 假设事先己知参数^ ^ 00 C [0,1] 中取值.说明何时对于只在 © Q 中取值的 
参数0存在无偏估计. 

2. 在上题的条件下求拉奥-克拉默不等式，并讨论估计量的有效性. 

3. 在第1题的条件下，讨论建立0的置信区间的问题. 

4. 在§2第5题的条件下，假设 N 》 M ， N 》 n , 讨论估计量及的无偏性和有 

效性.建立 (9 的置信区间（见⑻式和⑼式)， iV 的置信区间 [N - a ( N ) , N + b ( N)l 


n 


參 


使 


Pn ， Myti{N — a(N) ^ N ^ N b(N)} = 1 


—a ， 


其中 a 是某一较小的数 


§8. 关于分割的条件概率与条件数学期望 


1. 条件概率 设 ㈨ ， j ， P ) 是概率空间，而 


^={D U ^ ,D k } 


是 D 某一 分割： A e J , P ( A ) > (M = 1，. . + … + = a 其次，设事件 

A e J ， 而 P ( A \ D t ) > 0, 是事件 4 关于事件 A 的条件概率. 
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一组条件概率 ( P (^| A ), i = 1，…， A ：} 可以与随机变量 




( 1 ) 


相联系（与§4 (5) 式比较)，且 tt ( uj ) 在原子 a 上取 P ( A \ Di ) 为值.为强调 
实与此分割贫相联系，将其记作 


P (4| 负） 或 P ( A \^ f )( u ), 


并称之为事件4关于分割级的条件概牟. 

这一概念,以及将要引进的关于代数的条件概率的概念,在概率论中起着重 

要的作用，下面将逐步展开叙述. 

条件概率的如下两条明确的性质： 


P (^ + B \^) = P ( A \^) + P ( B | 箩); 

如果贫是只含中一个集合的平凡分割，则 


( 2 ) 


P (^|^) = P ( A ) 

把条件概率 P ( A \^) 定义为随机变量，就可以考虑其数学期望，利用数学期望 

可以用如下紧凑的形式将§3中全概率公式 （3) 写成： 


(3) 


EP ( A \0) = P ( A ) 


(4) 


事实上，由于 


p ㈤ 齋 ) M ㈤ A)/d »， 


则根据数学期望的定义（见§4 (5) 和 （6) 式)，有 

k k 

EP ( 觸 =㈤ A)P(A 卜 X ； P04A) = P ⑷_ 

i—l i=l 

为值的随机 变量: 


现在，设 = V ( uj ) 是以大于0的概率取奶， 


， Vk 


7f(uj) = VjlDj 


其中 A = {mM = 分割逆 ^ = { D x , ••• , D k } 称做随机变量 7? 诱导的分割. 

条 件概率 P 0 I 遂 y 或 V ( A \^ v ){ u ；) 称 做事件 4 关于随机变量 7/ 的条件概率.我们 
把 r ( A\ V = yj ) 也理解为条 件概率 P 04 IA ), 其中 A = {0； : 7 ]( u ) = Vj l 
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， r ? m 是随机变量，而逐是诱导的以 


类似地，若 




• « » 


~ 2/ m } 


{OJ : 7]1 


Dy 


yi^m = 妁， … : Vm 






uV 2 ，”-，y 


为原子的分割，则 P(4| 贫 MUm) 记作 P(4|m2, … ， Vmh 并称为事件义关于 

随机变量 VlyV 2 j * * * ? Vm 的条件概率 • 

例1设 （和 r/ 是两个独立同分布随机变量,分别以概率 p 和 g 取1和0为 
值.对于 A: = 0,1, 2,我们现在求事件 A — {uj : 7] = k}(k — 0, 1,2) 关于 rj 的条件 

概率 P(Aj V ). 

为此，首先注意到有用的一般事实：如果（和7?是两个独立随机变量，则当 
P{?7 = y} > 0 时，有 


P{^ ^V = z\r] = y} = P{^ + y = z} 


(5) 


事实上， 


P{C + v = z ,v = y } P{^ y = = y } 

P{// = "} 

= P {€ + y = z }‘ 


P{^ + r/ = z\rj = y} 




P{" = "} 

P{^ + y = ^}P{t? = y} 

P 切 =W 


由此公式，可见 


P(A\t])(uj) = P(^ + r? = k\r})(uj) 

~ P(^ + 7? = fc|?7 = 0)/^ =0 }(0；) +P(^ + r)^k\r) = l)/ {?7= i}(a;) 

=P(f = A:)J{^o}(^) + PK = k — l)/{^i}(^)* 


于是 


若 k = 0, 


P(C + ?? = k \ r ])( u ) = pI { v ^ o } ( u )) + ql { v = i }{^), 若 fc = 1， 

若 A; = 2, 


⑹ 


P^{rj=l} (W)， 


或同样地 


若 fc = 0, 


g(l — T })， 

p(l ~ 7?) + qr ), 若 k = 1, 


P(C + n = k\r]) 


⑺ 




若 fc = 2 




条件数学期望设 € =《(W 是随机变量，其值域为 x = {^， … ，x 小 


^ x j j a^ Aj = { u ； ：^= Xj}, 


j=l 
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而负，…，认}是某个分割，曾经定义了《关 
于概率二1，…， Z ) 的数学 期望： 


⑻ 


P(0 


(3,1) 


7 = 1 


⑻ 


( 10 ) 




P (- \ D ) 


自然类似地利用概率 P (^|^), 定义随机变量€关于 
分割逻 的条件数学期望,记作 E (€| 逻）或 


01 ) 


( 1 ) 


(9) 




P (* 2)) 




⑼ 


14 


根据这一定义，条件数学期望 E ( C |^) M 是一随机变量，对于属于同一原子 Di 
的基本事件 cj ， 取同 一 个值 


^ a ：, P (^| A ). 

•7 = 1 

这一事实说明，可以由另一途径定义条件数学期望.具体地说,首先由公式 




mm 


( 10 ) 




定义随机变量《关于事件的条件数学期望,然后按定义设 


i=l 


(ii) 


(参见流程图 14). 

注意, E ⑷ D ) 和 EK | 级 )(0；) 的值与随机变量《的表示方法无关 
下面指出的条件数学期望的性质，可以直接由其定义得到： 


E « + = aE ( e |^) + bE ( V \^)( a,b 是常 数); 

E 哪)= E 《； 

E ( C \^) = C , C 是常数. 


( 12 ) 


(13) 


(14) 


如果卜 /♦)， 则 


E (狀） = P (4 同 

其中，最后一条性质表明，由条件数学期望的性质，可以直接得出条件概率的性质. 

另一重要的性质是全概率公式 （4) 的 推广： 


(15) 


EE ( 脾） = E 之 


( 16 ) 



第一章初等概率论 


78 


为证明此式，只需注意到，由 （4) 式，可见 


EE(ei^) =B^2x j P(A j \^) = = J2 x J P ( A j) = ^' 

i=l 7=1 


设贫 = {D U • • • ， At } 是某个分割，而 7? = 7/(0；) 是某一随机变量.我们称随机 

变量7?关于此分割 为可测的 或贫-可 测的， 如果逆^ < 级 ，即7? = T)(L0 ) 可以表示为 


咖）= D VilOi (^) 


其中 有些％ 值可能相等.换句话说，随机变量 为级- 可测的，当且仅当它在分割 
级 的原子上取常数值. 

例2如果菸为平凡 分割: 级= { H }, 则随机变量 T) 为纫一 可测的，当且仅当 
7/ ^ 其中 (7 为常数.任何随机变量 r ? 关于分割可测. 

假设随机变童7?为贫-可测，那么 


= vmm . 


(17) 


特别 


E(r)\^) ^ vf (E(?y| 逐 ^) = 7?) 


(18) 


为证明 （17) 式注意到，如果 


( = 〉： x j^Aj ，= {u^ : ^ = a;j } , 

7-1 


则 


7 = 1 i=1 


J=1 i—l j^=l i—1 m=l 

Ik Ik 

= = ^2^2xjyiP(Aj\Di)I Di (u). (19) 


j—1 i=l 


i=l i=l 
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另一方面,考虑到^和 iDjDm 二0,《^爪，有 


-i—l _ _J=1 

k i k r t 

E ^ x E 5> jP (〜 An ) I x / 队 » 




于是 ， （ 19) 式与 （ 17) 式一同得证 . 

我们再证明条件数学期望一条重要性质 . 设诊：和慶 2 是两个分割，且级 i < 
您2 ( 分割比分割颂 2 “ 细小 ”). 那么， “ 望远 ” 性质 成立： 


E 剛發 2 )逆\卜 E (峽 


( 20 ) 


为证明 （ 20) 式，记您 i = {Du ， … ， D lrn }^ 2 = {Z? 21 ， … ， D 2n }, 那么，若 


《 = x j^Aj ， 

7 — 1 


则 


E ⑷爲） = J > P (木 |贫 2 )， 


且只需证明 


E [ P (^ j |^ 2 )|^ 1 ]= P ( A j |^ 1 ). 


(21) 


由于 


P ( Aj \^ 2 ) = y ^ j P ( A j \ D 2 Q ) lD 2a , 
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则 


n 


E[P (冯 I 逐 yiAl = Y,^j\D2 q )P(D 2q \^i) 




m 


n 


Y^nAj\D 2q ) 5jP(D 2g |Ap)/ 0l 

.p=l 

f ^ I Dlp j 2^( A j \ D 2 q )^( D 2 q \ D lp ) 

d= 1 q~l 

m 

f> 1P E . 


P 


Q=l 


^( A j \ D 2 q )^{ D 2 q \ D lp ) 


{ Q ： D 2 q QDi p } 


rrt 


p(^p 2g ) ^ p(p 2q ) 

P ( D 2q ) P ( D 1p ) 


J2 Id ^ Yl 


{ Q ' D 2 qCDl p } 




m 


^； J Dlp P (木 | D lp ) = P ⑷ I 氣)， 


P=1 


于是， （21) 式得证. 

假如分割贫是由随机变量 吼,…，％ 诱导的(遂 r =您^，…^)，则条件数学期望 

的条件数学期望，记作 E ( e | m ， •…，取) 


E ⑷遂…收）称做随 机变量€关于 仍， 

或 E ⑷川，…，％)« 

直接由 E ⑷ r/) 的定义可见，如果《和 r/ 独立，贝 IJ 




( 22 ) 


E (彻卜 Ef 


由 （18) 式，可见 


(23) 


E(7?|t?) = 7? 


性质 （22) 有如下推广.设随机变量$与 分割贫 独立（即对于任意 A G 谬， 
机变量（与独立那么， 


e ( ㈣ ) = ec _ 

作为特殊情形，由 （20) 式,可以得到如下有用的公式 


(24) 


(25) 


对于例 1 中的随机变量 4 和 ％ 求 ER + t ^) . 由 （ 22) 式和 （ 23) 式， 有 


例 


Eg + M") =E^-\-T)=p-\-7] 


由 （ 8) 式亦可得到此 结果: 


2 


EK + v\v) = + rj = k\rj) = p(l — rj) +q7] + 2prj 


p + 77 . 




fc =0 
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) 4 设《和77是独立同分布随机变量，验证， 


nm + ") = e 陳 +/?) = 中 


(26) 


2 


事实上，为简便计，假设€和 r / 取1，2,… 


为值; 对于1 < fc 彡 m ， 2彡 Z 彡 2 m ， 有 

P {^ = 7] = 1} P {^ — k ,7] = l — k } 

P{e = k}P{r) = l — k} P{r? = k}P{^ ^ l - k} 

P {《+ ?y = Z } 

= P ( r ? = k \^ + 17 = /) 


， m 


P (^ = k \^ 7] = l ) 






PR + t? = Z} 


从而 （26) 的第一个等式得证.为证明第二个等式，只需注意到，由于《和7/同分布， 


2EKR + ”）= E (^ + rj ) + E (^ + 77 ) = m + ”1 ㈣ )=《 + ”• 

3. 关于 E ⑷戈） 和 E ⑷负）在§1 曾 指出，有 限集合 n 的每一个 分割贫 = 

{ D u - ^ D k } 对应着 f ] 子集的一个代数 a (^). 恰好相反，有限空间的任何代数 

JB 可以由某一个分割诊派生. • j = a (遂 r ). 因此在有限空间的任何代数与分割 

之间存在 一一 对应关系.这一事实是指,以后将引进的关于特 殊集系 （ CT - 代数）的条 
件数学期望的概念. 

对于有限空间，代数和 (7- 代数的概念完全相同.在这种情形下，如果及是代 
数,则以后（在第二章 §7) 引进的随机变童《关于代数方的条件数学期望 E (^|^), 
干脆与 E (^) 一致,其中 E ⑷磬）是 < 关于 分割颂 （即关于 a - 代数方= a (^)) 

的条件数学期望.实际上，对于有限空间，我们以后不再区分 E ⑷多）和 E ⑷發) ：认 
为 E ⑷方)按定义就是 E (《| 颂). 

4. 练习题 

1. 试举 一例： 随机变童 < 和7?不独立,但是 


E ⑷ 7?) = 


(与命题 （22) 对服) 

2. 随机变童 


m \^) = E {[ c - E(^)] 2 \m 


称做关于分割萝的条件方差. 

证明方差 


D^ = ED ⑷贫 ） + DE(^|^). 

3. 基于 （17) 式，证明：对于任意函数/ = /⑹，条件数学期望具有如下性质 


E[/(r/)E ( 彻)卜 mm] 
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4 .设^和7/是随机变量.证明 


吋剛— /(0] 2 . 


在函数 /* (0 二 E(r/|0 上达到下确界，即条件数学期望 E(r?|e), 在均方意义下是 V 对 
i 的最扶 : 估计量 . 

5, 设是独立随机变量，而6,…，^同分布，且 T 的可能值为 
1，2,…， n . 证明，对于随机个随机变量之和 6 V = +…+匕，有 

E (5 T | r ) = rE ^, D (^ r | r ) = rD^i 


和 


ESV = EtxE6 ， D5 r - 


D ^ x+Dr x ( E 6) 


6, 证明等式 （24 J 
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关于随机游动在§6中证明的伯努利概型的极限定理,远远不只是给出了 

计算概率 P {5 n = fc } 和 V{A < S n ^ B } 的方便公式.其意义还在于，这些定理具有 

适合 多方面应用的 特点，也就是说，这些定理不仅适用于只有两个可能值的伯努利 
随机变量6,6,…，而且适用于更为一般来源的随机变量.因此, 伯努利概型 作为一 
种简单的模型，可以导出很多更为一般模型所固有的许多概率规律性. 

在这一节和下一节，将研究一系列新的概率规律性，有些甚至带有非常不可预 
测的特点.全部研究仍然局限于由伯努利概型所描绘的随机游动，不过许多结论对 
于更一般情形的随机游 动仍然 成立. 

二人博弈和破产概率考虑伯努利 概型： ( Q ,^, P ), 其中 


秦 


嘩 


) ，心 = 土 1}， j = 

^2xi-\-n 


(工1，…， 


(uj) n n-i^(uj) 


p (M) 


, 咖） 

其中 J 是 D 的一切子集的集系.设 CiM - Xi(i = 1, …， n ), 则 ,^ n 是独立 

伯努利随机变量 序列： 


U 




2 


p {6 = 1} =P, ~P{^i = -1} = q, P + q = 1. 

设 = 0, & = ^ + ... + 心 ,1 彡 fc < n , 序列 ( S k ) k ^ n 可以视为由 0 出发的某 
“质点”随机游动的轨道.这时 5 fc+1 =私+6： +1 ，即如果质点于 A : 时在点&，则于 
k + 1 时质点或者以概率 p 向上移动一步，或者以概率 g 向下移动一步. 

设4和彡0彡 S ) 是两个整数.与所考虑的随机游动相联系的有趣的问题 

之一就是， 随机游动的质点经 n 步越出区间 ( AB ) 的概率如何？ 同样有趣的问题是, 
经 n 步在点乂或点 B 越出区间 ( A , B ) 的概率如何？ 
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如果用博弈来说明，则该问题的自然性就显得格外清楚.假设有两人（甲和乙 ) 
对弈，开始他们的“赌金”相等，分别为 (- A ) 和 R 若&二+1，则认为乙付给甲一 

单位 赌金; 若& = - 1,则相反甲付给乙一单位赌金.那么，& ^ …+ 6表示经 

k 局甲贏得乙的数额（& < 0实际上表示甲输给乙的数额). 

在 fc 彡 n 时，即当 首次& = B ( S k = 4) 时，乙（甲）的赌金成为0,即出现乙 
(甲）破产 * (如果 k < n , 则应该认为在时刻 fc 对弈停止，尽管在 n 时前包括 n 时游 

动是确定的 

在给出问题的确切表述之前,首先引进一系列记号. 

设 a : 是区间 [ A , B ] 上的整数，而对于0彡彡 n , 设= a : + 私 

{0^ l ^ k:Sf = 火或 5}， 

其中约定：如果对于一切0 < ; < fc ， 有4 < 牙< S ， 则认为 t 卜 k 

对于每一个0 < /r < n 和 a ； e [4,5], 时刻吃称做停止时间（见 §11), 是一定义 
在基本事件空间 D 上的整数值随机变量（注意，没有明显地标出 < 依赖于 0；). 

显然，对于一切£ < A :, 集合{^ : g 二 /} 是 一 事件:“于0时始于点 a : 的随 

机游动{埒： 0彡 i 彡 fc }， 于 Z 时越出区间 ( A , B )\ 同样显然，对于/ < A ;， 集合 

{ u }： r ^ = l,Sr = A } 与 { a ； : < = /，邳= B } 是事件“游动的质点于 Z 时相应地在点 

4和 S 越出区间 ( A , B )\ 

对于 一 切0 < A ; < n ，设 




( 1 ) 


mm 


{^ ： = usf = a }, 




( 2 ) 


fc — 


且设 


a k ( x ) = P(^H f 3 k ( x ) = P (^ x k ) 

是经时间段 [0, fe ] 分别于点 A 和 B 处越出区间 ( A , B ) 的概率.对于这些概率可以 
得到递推关系式，并由此依次求出 ai ( x ), - - -， o ^( a :) 和 Pi ( x ), - - - 7 P n ( x ). 

这样，设 乂 < a ; < 5, 显然仰⑷ = ^ o ( x ) = 0. 设1彡 fc 彡 n , 那么由§3,⑶式， 


有 


P k ( x )= P (^ x k ) 


= P(^l^f + 1)P{6 = 1} + = x- 1)P{6 = -1} 

= P P(W x k \Sf 


+ l)^qP(^ x k \Sf 


—1) 


(3) 


= X 


=X 


现在证明 


P(^fci^f = a ： + 1) = P(^；), P(^l\Sf 


-1) = P ( H ) 


X 
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为此注意到，集合可以表示为 


屬 k = : ( 工， $ + (1 ， … ， $ +《1 + … • + €fc) G 


其中是形如 


(x，:r + xi, … ,x + xi H - + Xk)，Xi = 土 1 


轨道的集合，这样的轨道是在时段 [0， A ;] 内，在点 

B 首次越出区间 ( A , B ) (见图 15). 

把集合邱表示为 B x ^ x+1 + B x k ， x -\ 其中 

和 B x ，- 1 是 B x k 中分别对应于以=+1 
-1 轨道. 

易见，珲 


和 


XI = 


X 


x+1 


中的每一条轨道与轨道 


0 


(X，X + 1，X + 1+ X2y 


，工 + 1 + X 2 + . . . + Xfc )， 


* 4 « 


A 


对应 _ 对于 B ^- 1 的轨道,也有同样的性质. 
由于这一性质，以及随机变量独立同分 
布和§8式（6)，有 




15 BI 轨道的例 


P(^|5f =X + 1) = P(^|6 = 1) 

P{ (工，工 + 6， 


，工 + + …+ 《 fc ) G B^i = 1} 




* » • 


P{(X + 1, X + 1 + 《2, ... ， 3： + 1 + 《2 + ... + Ok ) G 

+ 心一 OH 1 } 




= P{(rr + l ， :r+l + (i， •，- ，x + l+《i + 


_ » 


同样地 


-1) = p(D 

因此，对于 x e ( A , 5) 和 fc 彡 n ， 由 （3) 式，有 


P (^ l\Sf 


=X 


Pk(^) = P^k-i(x + 1) + qpk-i(x ~ 1), 


(4) 


其中 


Pi ( B ) = 1, Pi ( A ) = 0, 0 彡/彡 


(5) 


n 


同理 


ak(x) = pak-i(x + 1) + qak~i(x - 1), 


⑹ 


其中 


a /(^4) = 1, oti ( B ) = 0， 0 ^ ^ 


n 
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由于 a 0 ( x ) = p 0 ( x ) = 0 ,x G ( A , B ), 则所得递推公式可以（至少原则上可以）用 

来求概率 ai ( x ), - - - 和 … ,/3 n ( x ). 暂时不作具体计算,而考虑当 n 充 
分大时这些概率的值的问题. 

为此注意到，由于 C ^ x k , k ^ n , 可见 p k - i ( x ) ^ Mx ) < 1. 因此自然想 
到（实际上确实是这样，见下面第3小节)，当 n 充分大时概率 p n ( x ) 接近如下方程 

的解 /3{ x ): 


/3( x ) = pj 3 (x + 1) + q /3 (x - 1), 

且满足由 （4) 和 （5) 两式求极限所得的边界 条件： 


⑺ 


P ( B ) = 1, p ( A ) = 0 

为求解问题 （7) 和 （8), 首先假设不难看到，所考虑的方程有两 个特解 
和 Hq / p ) x , 其中 a 和是常数.因此，我们以如下形式求通解 /3( x ): 


⑻ 


a 


冷 ⑻= a + b ( q / p) x 


⑼ 


考虑到 （8) 式，对于一切 A^x ^ 


A 


( q / p) x - ( q / p ) 

( q / p) B - ( q / p) A 

现在证明这是该问题的唯一解.为此，只需证明，问题⑺和⑻式的一切解都 
可以表示为 （9) 的形式. 

设尽 ( x ) 是满足 P { A ) = O y p { B ) = l 的某个解.总存在常数5和孓使 

+ b ( q / p) A = p ( A ), a + b ( q / p ) A+1 = 


P ( x )= 


( 10 ) 


a 


因此由方程⑺可见 


P{A + 2) = a + b ( q / p) A+2 y 


且—般 


P ( x ) = a + b ( q / p ) x , 

于是，所求得的解 （10) 是所考虑问题的唯一解， 

由类似的讨论可见,方程 


a (: r ) = pa(x + 1) + qa(x — 1), x £ ( A y B ) 


( 11 ) 


满足边界条件 


< y ( A ) = 1, a (5) 


( 12 ) 


0 




的唯一解是 


( q / p) B - ( q / p ) 

( q / p) B - ( q / p) A 


X 


a ( x ) 


， A ^ x ^ B . 


(13) 
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1/2,则问题 （7),(8) 和（11)，(12)唯一解 /9( x ) 和 a ( x ) 相 应为: 


假如 


P = <1 




A 


x 


f 3{ x )— 


( 14 ) 


B — A 


和 


B — x 

B-A 


(15) 


注意，对于任意0 < p < 1， 


a ( x ) + /3( x ) = 1* 

假如对局二人甲和乙的最初的“赌金”分别为 
对弈，宜把 a ( a :) 和 (3( x ) 相应地称做对局二人 甲和乙的破产概率， 当然应假定存在 
无限独立伯努利随机变量序列匕，6,…，其中& = +1表示甲臝，而& = -1 表示甲 

输.为在本小节开始考虑的概率空间⑴, J ， P ) 上存在上述独立伯努利随机变量序 

列，⑼ 』， P ) 显得太“贫乏”.以后（第二章 §9) 我们会看到， 确实可 以建立这样的 
无限序列，而且 a ( a :) 和 (3( x ) 确实是在无限多步破产的概率. 

现在讨论由这些公式得到的一系列推论. 

如果设 A = 则函数 (3( x ) 按其本来邱0 

含义，是自状态 x 出发的质点在到达0点之前到达点 
B 的概率，由 （10) 和（ I 4 )式，可见（图 16): 


(16) 


4和 B - a ;, 对于无限多局的 




若 p = g = 1 / 2 , 
，若 P / 


x / B , 


P ( x ) ^ { (q/p) 


(17) 




( q / p) B - 1 


0 


其次，假设不等式 g > p 成立，即对于甲是不利博 

弈，其破产的极限概率 为： 

(g/P) B - 1 

( q / p) B - ( q / p) A ' 

现在假设对弈条件有如下 变化： 甲和乙的赌资仍然是（-淘和 s , 但是现在每人 
支付的金额为1/2单位，而不是以前的1单位.换句话说,现在假设 P {^ = 1/2} = 

-1/2} = 这时，若以 a 1/2 表示甲破产的概率，则 


图 16 0 (； r ) 的图形 
[ P ( x ) 是当质点 B 自点: r 出发早 

于点 0 到达点 S 的概率] 


( q / p) 2B - 1 

( q / p) 2B - ( q / p) 2A ’ 


^ 1/2 = 


因此，如果 g >仍贝 !I 


(<l/p) B + 1 

( q / p) B + ( q / p ) 


a l/2 = ^ 


> a. 


A 


由此得出 结论：如果对弈对于甲不利（即 g >/>), 则增加一倍餘金可以减小他破 


产的概率 






§9. 随机游动 I . 掷硬币傅弈的破产概率和平均持续时间 


87 


3. a n (x) 和 (5 n (x) 收敛于 ct(a:) 和 /3(x) 的速度现在讨论 a n (: r) 和 p n (x) 收 

敛于极限值和的速度问题.为简便计，假设 : c = 0,记 


=知⑼，= A ⑼， 


1 — (a n + p n ) 


a 


7n 




显然， 


7 n = P{^4 < Sk < B,0 ^n}, 


其中 {A<S k <B,0^k^n} 就是事件 


H { A < s k < S }. 


O ^ fe^n 


设 n = rm ， 其中 r 和 m 是整数；设 


Cl = - ^m ， 

C2 = 豸 m+1 H - ^2 


Cr — ^m(r-l) + l H - ^ C 


那么，设 C = \ A\ + B s 易见 


{A < S k < B y l ^ k ^ rm} C {|(i| < C, _ • • ， |Cr| < C }， 

因此由随机变量 ☆，.••，◊ 独立同分布，可见 


^ n\Ci\ < C r - ACr \< C } = H P {| Ci | < C } = ( P {| Ci |< C}y 

i=l 

注意到 DCi = m[l — (p — g) 2 l 因此当 0 < /> < 1 时，对于充分大的 m , 有 


(18) 


In 


P {| Ci |< C }^ £l , 

其中 A < 1, 因为假如 P {| Ci | < <7} = 1,则 D 6 < C 2 . 

假如 p = 0或1，则对于充分大的 m , 概率 P {| Ci | < C } = 0,从而对于一切 

0<P<1, (19) 式成立. 

由 （ 18) 和 （ 19) 两式，可见对于充分大的 


(19) 


n, 


In ^ 


( 20 ) 


1/m 


其中 


< 1 


£ = e 


由 （ 16) 式 ， a + /3 = 1. 因此 


(ol — a n ) 4 * (/? — /? n ) 


7 n 
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而因为 a > 所以 


0 彡 a — a n < 7 n < e n ， 

0 彡 0 — /^n ^ In 《 e n ， 


其中 e < 1. 对于 a ( x ) - a n ( x ) 和 (3( x ) - (5 n ( x ) 有类似的估计 • 

4. 平均游动时间现在讨论平均随机游动时间. 

设 m k (x) = Er ^ 是停止时间 Tjf , (k ^ n) 的数学期望.仿照推导 f3 n (x) 的递推 
公式的方法,对于 x e ( A , B )， 得 


m k (x) = Eri= 1PM = 1} 

l^Kk 

=E f bP{^ = mi = 1} + qV{r^ = /|6 = -1}] 

l^k 

=E 

l^l^k 

= E G + ObPfC = 0 + 《 P{d = /}] 

O^l^k-1 

= pmk-\{x + 1) + qm k -i{x - 1) 

+ E bPir ^ 1 - 0 + QP { r x k Zl = l }} 

O^Kk-1 

■ 

=pm k -i(x + 1) + qnik-i{x -1) + 1. 

于是， 对于 X e (A, B) $i 0 ^ k ^ n, 函数 nik(x ) 满足递推关系式 


/ — 1} + 分 P { r^i = ^ - 1}1 


mk ( x ) = 1 + pm fc _ i(x + 1) + qm k ^ i(x - 1), 


( 21 ) 


其中 mo ( x ) = 0, 由这些方程连同边界条件 


(乂 ) = 爪 fc (万 ) = 0, 


( 22 ) 


可以依次求出 mjx ), … , m n { x ). 

由于 m k ( x ) ^ m k + l ( x ) y 可见存在极限 


m(x) — lim m n (ar), 

n—►oo 


且由 （21) 式知 m ( x ) 满足方程 


m ( x ) = 1 + pm(x + 1) + qm(x — 1) 


(23) 


和边界条件 


m(A) = m(B) = 0. 


( 24 ) 
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为求该方程的解，首先假设 


(25) 


m { x ) < oo , x € (A BY 


那么，如果 p / 则特解的形式为 x /( q ~ p ) y 而通解（见⑼式）可以表 示为: 


G) 


X 


m ( x ) 


+ < 2 十6 




由此并考虑到边界条件 m ( A ) = m ( B ) = 0,即可求出 


m ( x ) =- \ Bf 3( x ) + Aa ( x ) — x ], 

p — q 


(26) 


其中卢 ( x ) 和 a ( x ) 由 （10) 和 （13) 两式决定.如果 


1/2,则方程 （23) 的通解 


P-Q 


形如 


m ( x ) = a + bx — x 2 ^ 


因此，由于边界条件 m ( A ) = m ( B ) = 0,可见 


rn ( x ) = (B - x)(x — A ). 


(27) 


特别，由此可见，如果对弈二人的初始赌金 相等 : B =-隼则 


2 


m (0) = B 


假设 B = 10且每秒一局，那么某一对手破产前的（极限）平均时间相 当长： 等于100 


秒 


公式（ 2 6)和（ 27 )是在假设 m ( x ) < oo,x G ( A ， B ) 的条件下得到的，现在证明， 
实际上 m ( x ) 对于一切： r e ( A , B ) 有限.我们只限于讨论 a : = 0的情形.一般情形可 
以类似地证明. 

p = q 

联系在一起,其中 


设 


1/2. 将数列為，&，_••，&与停止时间 r n = 


0 


由随机变量= 


S r n (^) = ^5 fc (cj)/ {rn=fc} (u；) 


(28) 




随机变置的直观意义是清 楚的： 它是随机游动在停止时刻 TW 的值.这时， 
假如 r n < n , 则 S T „ = 4或而如果 

现在证明，对于 p = g = 1/2,有 


n ， 则 A ^ S Tn ( B 


丁 n 




E 5 Tn = 0, 
E 5^ = Er n 


(29) 


( 30 ) 
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为证明 （29) 式，注意到 


n 


Ee[^/ {Tti = k }(^)] 


2 


BS 


r Th 


k=0 


n 


n 


E 取心 =k}(^)} +E 驅 — ^n)I{r n ^=k} (^)] 


fc —0 




n 


E 5 n + J ] E [(5 fc — 5^)1{7^=扣} ( W )]， 


(31) 




fc=0 


其中显然 ES n = 0. 现在证明 


n 


J ] E [(^^5 n )/ { Tn ^ } H ] 


= 0, 


k —0 


对于 0 < A ; < n ， 有 { r n > A :} = {4 〈的 < B ， … 〈此 < B }* 事件 

I 

{uj \ A < Si < B , 


, A < S k < B } 


* • * 


显然可以表示为 


: Kl ， …， 6 c ) e 义 fc }， 

其中 Afc 是集合 {-1,+1} A 的某一子集.换句话说，这是一个只决定于随机变量 

6,…，^的值，而不依赖于随机变量心+1，…，^值的集合.由于集合 


(32) 


{^n = k } = { r n > k - l }\{ r n > A :}, 

可见它也是形如 （32) 的集合.由于随机变量 6 r .. ，心的独立，以及由§4的 练习题 

10可见，对于任意0 彡 A ; < n , 随机变量 - S k 和1 { 

n(Sn - S k ) I {Tn=k} ] + E [ S n ^ S k ] X E / { 


独立,从而 


= fc } 


n 


= 0 


^ k } 


n 


于是 （ 2 9) 式 得证. 

同样可以证明 （30) 式 


n 


n 


= E E ^/ { 


J 2 ^{[S n + (S k ~S n )] 2 I {Tn=k} } 


-fc} = 


n 


fc=0 


k—O 


n 


— + 2 E *9 n (5 fc — ^ n )/{ r n = fe } + E (5 n — 5 fc ) 2 /{ Tn = fc }] 




n 


n 


= E52-J]E(5 n ^^) 2 / { 


- y^(n - fe ) P { r n = k } 


n 


fc} = 




n 


fc=o 


fc—o 


n 


fcp { r n = k }= 


丁 n 


k=0 
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于是,对于 p = g = 1/2,公式 （29) 和 （30) 得证.对于任意 p ， q(p + q = 1) 的情 

形，类似地可以证明： 


E 5 Tri = {jp — q ) Er n , 

[5 Tti - r n Eei ] 2 = Dei 


(33) 


(34) 


X 


Tn ， 


其中 E 6 = p - q , D^i = l - ( p - q ) 

现在利用得到的关系式，证明 


2 


lim m n ( 0 ) = m (0) < 


对于 p = 9 = 1/2,由 （30) 式，有 


< max {^4 2 , S 2 } 


(35) 


丁 n 


如果 P 一 A 则由 （33) 式，有 


maxd ^ l ，^} 


(36) 


丁 n ^ 


由此可见爪⑼< 

还要指出，对于 p = g = l /2, 有 


oo 


= ^ 2a n + B 2 /3 n + E[S^I{ A<Sn< B}I{r ri ^n}]i 


丁 n 




因此 


A 2 a n + B 2 p n < Er n ^ A 2 a n + B 2 p n 4 - max { A 2 , B 2 } x 7 n . 

时数学期望 Er n 以指數的速度收敛于极 限值: 


由此及不等式 （20) 可见，当 


B 


A 


( 0 ) = ol + B 2 f3 = A 2 


— 丑 2 


= \ AB \ 


X 


m 


x 


B-A 


B-A 


对于 p 一 g ， 有类似的结果 


以指数的速度收敛于极限值 


T n 


a A + ( 3B 

P-Q 


m(0)= 


T n 


5. 练习题 

1. 证明 （33) 和 （34) 式的推广，下列公式成立 


E 冷 = x ^( p - q ) Er ^, 

E [ 辱 — r^E6] 2 = m x Er" + 


2 


X 


2. 讨论当水平 - oo 时， a ( o :)，/9( x ) 和 m ( x ) 趋向何量的问题 
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3. 假设伯努利概型中 

4. 甲乙二人各自‘独立地掷一枚对称的硬币.证明，他们各自掷 n 次，二人掷出 
正面的次数相同的概率为 


1/2,问当 n 充分大时 E |5 n | 是何数量级? 


p = q 


E (^) 2 , 


2 2n 


fc=0 


并由此导出恒等式（亦见§2练习题 4) 


E ( c ^) 


2 


= C 


2n 


k=0 


设~表示 时刻: 对手甲和乙首次各自掷出正面的次数相等（若这样的时刻不存 

+ 1)* 求数学期望 Emin {( j n , n }. 


在，则令 


§ io . 随机游动 n . 反射原理.反正弦定律 


1. 质点首次返回0的时间像上一节一样，假设6，. . . ，《 2n 是独立同分布伯 
努利随机变量序列，且 


Pte = !} = P，Pte = -1} = Q, 

为=+ …+ 6 c ， 1 ^ < 2 n Sq = Q 


记 


( J2n ~ ixiinjl ^ k ^ 2 n : Sk = 0 } y 


对于一切 1 < fc < 2 n , 若 & / 0,则设 

量 a 2 „ 的直观含义十分 清楚： 它是首次返回 0的时刻.这一节将要研究首次返 
回0的时刻心的性质,这时假设所考虑的随机游动对称, n\ip = q = 1/2. 

对于0彡彡 2 n ， 记 


^2n = OO 


^2 fc — P { S 2 fc = 0}, f 2 k = P {^2 n — 2 fc } 


⑴ 


显然， U G = 1而 


k 


U2k = C 


2 fc ^2 fc 


我们最近的目标是证明，对于1 < /e < n ， 概率决定于 公式: 


,2fc = 2^^2(fc-l) 


(2) 


易见，对于1彡 A : 彡 n ， 有 


{^2n = 2/c} = {Si /()，’.•， / 0, iS^fc = 0 }， 
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由对称性，可见 


hk = P (^1 ¥ 0,…， S 2 k ^^0, S 2 k = 0) 

= 2P(^1 > 0, - ■ ■ , ^fe-l > 0 y S 2 k = 0) 

我们把序列（私 ，…、 Sk ) 称做长为 fc 的路径，以 L k ( A ) 表示具有性质4的长为 

k 的路径条数.那么， 


(3) 


Y, l L 2n(Sl > 0 , 

{tt2fc+l ，… ， a2n } 

^2fc+l = a 2 fc+i， “ . ， S2n = <^2k+l + _ _ • + Cl2n)] 

[2fc (夕 1 > 0, …， ^2fc-l > ^2k — 0)? 


, S 2 k-l > 0, 82k = 


hk = 


22 n —1 


(4) 


22fe-l 

其中对一切 { a 2 fc +1 ，… , a 2 n }, ai -± l 的组合求和. 

于是，求概率 / 2 Jfc 归结为求路径的条数 >0,.-.,5 2 fc _ 1 >0,5 2fc = 0} 

引理1 设 a , 6为非负整数 


6 > 0, fc = a + b ， 则 


) a — 


fl — b 


(5) 


-b) 




Lk(Si >() ， -■• ， Sk-i > 0 ? Sk 


― CL 




k 


证明事实上 


b ) 


Lk(Si > 0 , - * , Sk-i > 0 , Sk 

Lk ( S \ = 1, S 2 > 0, • • • , Sk-i > 0, Sk 

Lk(Si — 1, Sk 

LkH = l，Sk 


=a — 


— 6 ) 


a 






b ) 


=a — 


fc ;3 i ，2 < i < fc - 1，使氏 < 0) 

换句话说，始自点 （1,1) 止于点 （ A :, a -6) 的正路径 (5 i ,5 2 ,..- , S k ) 的条数,等于由 

点 (1,1) 到点 （ fc ， a -&) 的全部路径条数，减去与时轴相切或相交的路径条数 *). 

注意到， 


⑹ 


= a — 




6; 彐 i， 2 < i < A: — 1 ，使氏彡 0) = Lk(S\ 

(1,1) 到点/?= 且与时轴相切或相交的所有路径条数，等于由 

(1,-1) 到点/3 = ( k，a - b ) 的所有路径的条数.这一事实称做反射原理.容 
易证明，在连接 a 和/5两点的路径 S a + U …， S k ), 与在连接 a * 和 

/?两点的路径 5 = ( - A , 

中 a 是路径 A 和路径 S 为0的第一 个点； 其证明可以由上述两条路径的 一一 对应 

关 系导出. _ 

) 路径 (5 i , S 2 , ,5 fc ) 称做正的（非负的)，如果全部 Si >0 (Si >0); 路径称做与时轴相切的， 
如果对于所有1 < j < fc， &彡 0 彡0)，且存在1彡 i 彡 fc， 氏 = 0;路径称做与时轴相交的，如果 
存在两个时点 i 和乂使& > 0 (巧 < 0). 


一&)，⑺ 


一1 ， Sk 


Lk ( S \ = l,Sk = 


a 


a — 






即自点 


a 




* 


a 




，&)，之间存在 一一 对应关系（图17)，其 


， —S a ， 5 a +i, 
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17 反射原理 


由⑹式和⑺式可见 


>() ， •_• ， Sk-i > 0 , Sk 

= Lk(S\ = 1 , Sk 

CL 


— 6) 


a 




b )- L k ( S 1 = - l , S k 


a — b ) 


=a — 






d "— 1 


= c 


a 




fc ， 


k — 1 


1 


k 


于是，命题 （5) 得证. 

现在，回到概率 / 2 fc 的计算■由⑷式和⑻式 （a = A :， 6 = fc - 1)，可见 


□ 


_ 2 Aj +1 


L2k(Sl > 0,… ， ^jfe-i > 0, S2k = 0) 

= 2~ 2 k + l L 2 k - i{Si >0, 

_ rj — 2A ； + 1 


/ 2 fc =2 


， ^2 fc-l = 1) 




k 


x W ^ i xC 


2 fc_l 一 2 fc 以 2( 灸一 i ) 


于是，公式 （2) 得证. 

我们再给出公式 （2) 的一个证明.证明基于如下事实 


⑻ 


^^2(fc-l) — u 2(fc_l) — ^2k 


显然， 


{( r 2n = 2 k } = { a 2n > 2 (fc - l )}\{ a 2n > 2 A :}, 

{^2 n > 21} = { S \ # 0,…，灸/ # 0}， 


{ a 2n = 2 k } == {5 i /()，•••，5 2 ( fc _ i ) ^ 0}\{5 i — 0,…， 5^ # 0}_ 


因此 


f 2 k = P{Si — 0,… ,5 2( ^ 1} — 0} — P{Si — 0,…，馬女 — 0}， 

从而，由于⑻式，为证明等式 


/2 fc = 


w 2( fc - l )， 




2 k 
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只需证明 


^ 2*(^1 # 0 ,… ,S 2 k ^ 0 ) = L 2 k(S2k = 0 ) 


⑼ 


为此，注意到，显然 


L2k{Si ^ 0 , - * ? S 2 k / 0 ) = 2L 2 k{S\ > 0 , 


2fc > 0)， 


• « 4 


因此为验证 （9) 式，只需证明 


2L2k(Si > 0 ,…，> 0 ) = L2k(S\ 彡 0 , •… ， 彡 0 )， 


( 10 ) 


且 


^2 fc(^i > 0 ,…， Afc > 0) = L 2 k ( S 2 k = 0) 

如果证明在至少一个 氏 = 0的路径 a =⑸，…， s 2 k ), 与正路径 b = ( A , …， 
S 2k ) 之间存在 一一 对应关系，则就可以证明等式 (10). 

设 A = (&，••• ， S 2 k ) 是在点为首次0 ( 即& = 0) 的非负路径•自点 ( a ,2) 引一 
轨道 （5 a + 2,5 a+ i +2, ‘ .. ，6^ + 2)( 图 18中虚线)，那么路径丑=(6*1，… 、 S a —\、 S a + 

2 ,…， 5 2 fc + 2 ) 是 正的. 相反，设丑 = , S 2k ) 是某一正路径，而6是5 6 = 1的 

最 后时刻（图 19). 那么路径 A = ⑸，，，•，为，乳+1 - 2,…，爲 -2) 是非负的.由上 

面的构造可见，在正路径和（至少有一个况 = 0) 的非负路径之间，存在 一一 对应关 
系.于是等式 （10) 得证. 


( 11 ) 


现在证明等式 （11). 由于对称性和 （10) 式，只需要证明 


L2k{Sl > 0, • — , S2k > 0) + ^2fc(^l ^ 0, 

I 

且 3 i ,0 彡 < 彡 2 k , Si =0) = L 2 k ( S 2 k ^ 0). 

路径的集合 （& = 0) 可以表示为两个集合与酽 2 之和,其中酽 i 是只有 一 
个极小值的路径（馬，…，而％是至少在两个点上达到极小值的路径. 

设 G eA (图 20), 而7是极小值点.将路径 G = (50,5!,.-. , S 2k ) 对应于一 
正路径 (7 f (图 21). 路径 qr 是由如下方式得 到的： 将轨道 ( S 0 ， S U …， Si ) 关于过点 


, Sok ^ 0 , 


■ V 


■ 
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2 k 


UJi 


20 


I 铅直线进行反射，而把所得轨道自点 (2^,0) 延伸后，将其置于右、上方.然后将坐 
标原点置于点所得到的轨道是正路径. 

同样,如果路径 C 2 G r 2 , 则用同样的方式可以将其对应于某一非负路径 C 2 *. 
相反，设 cr = {Si > 0,..- , S 2k > 0) 是某一正路径，其中知 = 2 m (图 21). 
将路径 CT 对应于一正路径<^ ( 图 21). 路径 Q 是由如下方式得到的.•设 p 是使 

P 反射,将其置于右、上 

方,使其第一个端点与点 （0,0) 重合.然后将坐标原点置于所得轨道的左端点（这恰 
好是图20上轨道).所得路径有唯一极小值，且= 0. 对路径 

(5*1 ^ 0, • * • , $2 k ^ 0?且 3 i , 0 < i 彡 2 fc , 5^ = 0) 

施用类似的构造可以导致至少有两个极小值且5^ = 0的路径.从而建立了 一一 对 
应关系，于是证明了 （11) 式. 

这样，证明了等式 （9), 以及下面的 公式： 


的最后一点；将轨道 （ S p , …， S 2m ) 关于铅直线 


s p 


m 




X = 


f 2 k ~ u 2( k ~ l ) ~~ u 2 k 

由斯特林 （ J . Stirling ) 公式，有 

u 2 k = Cot x 2 


2 k U2 ^ 




一 2 fc 


k 


Virk' 


因此 


f 2 k 


k oo 


2y/irk 3 ^ 2 ’ 

由此可见，首返 0 的时间的数学期望 


min(a 2n) 2n) = ^ 2kP{a 2n = 2k} 4- 2nu 2n = 打 2 (fc_i) + 2nu 2 


k = l 


k=l 


是相当大的. 


此外 


E«2(fc-1) =00 


k=l 
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从而，对于步数无限的情形，游动趋于0的平均时间的极限等于 

这一事实可以解释所研究的、对称随机游动许多意想不到的性质.例如，两个 

实 力相当的对手 (IP p - g = 1/2) 对弈时，自然地期望经 2 n 局对弈，平局的 平均次 
數（即使 5,-0 的时刻 i 的次数）与2«成正比.然而,平均平局次数却是数童级为 
孤 的量（参见第七章 §9, （ 17) 式 ). 特别，由此可以得出与期望相反的、“典型的” 
的 实现： 游动 （&，&, .•,&) 事实上并不具 有正弦 的特点（质点一半时间在正侧，另 
一半时间在负侧)，而具 有长而缓慢的波动的 特点.所谓 反正弦定律说 明了命题的这 
种提法.我们现在就开始介绍反正弦定律. 

反正弦定律记 P 2 k ,2 n 为质点在时段上 [0,2 nl 的正方度过放个单位时间 


00 


2 


啬 


的概率_ 


引理 


设以 0 = 1和0彡 ( n ， 则 


P2k,2n = U2k 乜 2nH 


( 12 ) 


证明上面曾证明 / 2fc = U 2( k _ l )— 以 2 fc 


现在证明， 


k 


y^/2r 乜 2(fc 一 r) 

r— 1 


(13) 


^2 k = 


由于 {〜= 0} C { a 2n < 2 k }, 可见 

= 0} = = 0} H {<72n ^ 2/c} — > : \^2k = 0} n \(J2n = 2i} 


从而 


P {^2 fc =0}= V P {5 2fc = 0, tr 2n = 2/} 

P{^2fe = 0|a2n = 2/}P{<T2n = 2/}* 


乜 2fc = 


l^l^k 


而由 


P{^2fc = 0\a 2n = 2/} = P{^2fc = 0|^i ★ 0,… ， S 2 i-i ^ 0, S 2 i = 0} 

P{S2/ + ( 《 2/+1 + * * •+ C2Jb) = 0|5i ^ 0, 

^{^21 + fem + ■ - * + ^2k) — 0|52Z = 0} 

— ^{^21+1 + … + (2fc = 0} = P{S f 2 ( 


，如 -1 一 0 3 S21 — 0} 




• * » 




= 0}， 


fe-1) 


可见 


^ P{^2(fc-Z) = 0}P{^2n = 2i}, 


^2k — 




) 称质点在时间段上 [m- l ， m] 位于正方，如果 Sm-i 或至少有一个值是正的 , 


* 
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于是， (13) 式得证. 

现在证明（I 2 )式.当 = 0 和时 （12) 式显然成立.现在设1 < A: < « — 1. 

假如质点在正方度过 2A: 个时刻，则它一定通过0,设 2r 是首次返回0的时刻，有两 

_ 

种可能的情形：当况彡0时 Z 彡 2r， 当氏 < 0 时/ < 2r- 

易见，对于第一种情形，路径条数等于 


2 2r / 2r 2 2(n ^ r >P 2 


2n 


/2r-P2(fc-r),2(n-r) 


: x 2 


X 


(fc—r)，2(n — r) 






2 


2 


对于第二种情形,相应的路径条数等于 


2n 


/2r^2fc,2( n—r) 


-x 2 


2 


从而，对于1 < < n — 1，有 


k 


k 


an = \Y.hrP, 

r~l 


^ /2r^2fc,2(n^r) 

r—1 


P2k 


(14) 


+ 


2(fc_r)，2(n—r) 


2 


假设对于 m = 1， . 
两式，可见 


1，公式 


^ 2 m ^ 2 m — 2 k 成立. 那么 ，由 （13) 和 （14) 


,n — 


* ■ 


2m 


k 


k 


1 

/2r 乜 2fc — 2r + 豆杜 2fc ^ 2r ^ 2 
r—1 r=l 


^2k y 2n = o 奴 2n_2fc 


n—2r—2fc 


2 


□ 


从 2n-2fc 乜 2fc + 7^ u 2kU2n^2k = 乜 2fc^2n-2fc* 


2 


现在，设 7 (2n) 是质点在区间 [0,2n] 内位于正方的时间单位数，则对于 a: < 1， 


有 




E 


P2k 


，2n 


2 


2n 


{ 知:善〈费彡 x } 


由于当 k 


时，有 


00 


«2fc 


\/7rfc ? 


则当 k 


—fe — > oo 时 


— oo，n 


P2k t 2n = u 2k^2(n—k) 


7T 


因此 


- 1/2 


k 


k 


E P ^n - E 


0 , n 一 oc ， 


7rn n 


n 
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故 


X 


dt 


0 ? n 


— 00 


1/2 




而由对称性，可见 


E p 


2fc ， 2n 


2 




且 


X 


dt 


2 


= —arcsin y/x — - 


2 


1/2 yt{\ — t) 


丌 


7T 


于是，证明了下面的定理. 

定理（反正弦定律） 质点位于正方的时间所占的份额不大于0：的概率，趋于 


2丌一 


arcsin \ x 


2 


E 


yfx 


(15) 


— ^ — arcsin 


， 2n 


7T 


注意，积分中 


x 


dt 


o 


的被积函数 _) = Ml - t )]-" 2 是在点 t = = l 趋向无穷的一条 U 形曲线 

由此可见，对于充分大的 n 7 有 


y(2n) 




P^O < 


^ A y > P 


- < 


2n 


2 


2n 


即形象地说，质点位于正方接近 0 ( 或 1)， 比自然期望的值1/2,更有可能. 

利用反正弦函数表，以及在 （15) 式中的收敛速度实际上是很快的情况,可以求 

得下面的 概率： 


7 ( 2 n) 


P 


^ 0.024 > «( X 1， 


2n 


pW^o.lUo.2, 

2n 

7 ( 2 n) 


P 


< 0.2 > « 0.3, 


2n 


7 ( 2 n) 


P 


( 0.65 > w 0.6 


2n 


这样，如果考虑时段 [0,1000], 则大致在十分之一的情形下，质点总共有24个时 
间单位在正方度过,但多数时间 （976 时间单位）在负方. 
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练习题 


的速度如何？ 

: s k = 1}, 如果对于 一 切 1 < fc < n，Sfc < 1， 

1/2) 和非对称 （p # 0游动，当 


h 当 


时， Emin (^2 n ? 2 n ) 


n — oo 


—^ oc 


2. 设 


= min{l 彡 fc 彡 


n 


r n 


时， 


问对于对称 （p 

in ( r n , n ) 的极限如何？ 

3. 基于 §10 的思路和方法，对于伯努利对称& 

其中 s 0 = 0, & =匕+…+ a ， 证明满足下列关系式 （# 是正整数) 


设 


CXX 


Ti — 0O 


r n 


Q 








m 


1/2) 随机游动 { S k , k ^ n }, 


Q 






P { 


S k ^N,S n <N} = P{S n >N} J 
S k ^N} = 2P{S n >N}_ P{S n = N}, 

S k = N} = P{S n = iV} + P{S n = JV + 1}, 


max 

max 

l ^ fc^n 

max 

l ^ fc^n 


P{ 


P{ 


栽对随机游动的某些应用 


§ 11 - 


鲁 


i . 引言前面研究的伯努利变量6,…，匕，形成 独立随 机变量序列.在这一节 

«• 

和下一节将引进形成 鞅和马尔可夫 A . A . MapKOB 链的两 类非独 立随机变量. 

鞅论将在第七章中详细介绍.而现在仅给出定义，证明关于对于停止时间保持 
鞅性的一个定理，给出鞅用于证明所谓关于“表决”的定理.同样地，该定理将用于 
§10中 （5) 式命题的另一个证明，该命题曾经利用反射定理证明. 


軟的定义和例设⑴， ^， P ) 是有限概率空间，逆^ ¥ 级 2 4…—逆^是某 




一分割序列. 


定义1随机变量序列 （ = ( a ) Kfc^n (关于分割 A —逆 ^ <…—豕 n ) 称做 


鞅，如果 


1) ^是曾 fc - 可测的， 

2) E (^ k + i \^ k ) = ^ fc , 1 < /c ^ n - 1. 

为强调随机变量€ = (6,…， &) 的哪个分割系是鞅，我们还将使用记号 


C = ( Cfc ， 诊 fc ) Kfc < n ， 


⑴ 


不过为简便计常省略下标 10 $ 

如果分割颂 fc 是由随机变量6,…，&诱导的，即 


n 




y^n ， 


，琴 p 


我们往往不提€ = 是鞅，干脆称序列本身 S = (60 是戟 

下面举几个鞅的例子. 



§11 .鞅.鞅对随机游动的某些应用 


101 


是独立伯努利随机变量: 


!1 1 设"1， 




P{Vk = 1} = P { r? fc = -1} = ^， 

— Tf\ + * • - + T]^ , ^k ~ 纽 T)u” 


， m 


注意，分割贫的构造十分简单 


级 1 = { n + y D~i 

+1}, D *~ = { o ; : Tji = —1}; 

逆2 = {£ f 十 ' I ? 一 — }， 


其中 D + = { u ; 


: m 




其中 D ++ = { a ; :仍 =+1, t ?2 = +1}， …， D — = { a ; : r；i 

= ^ s i? 


— 1, 772 = —1}; 依此类推 




易见，逆 r 

现在证明，序列 { S k ^ k ) x ^ n 构成執. 

随机变量私是 ^ k - 可测的，而由§8的 （12) 式， （18) 式和 （24) 式，可见 




仍 ，… fVk 


^(Sk+i\^k) ^ \^k) = ^(Sk\^k) + E(t}k+i\^k) = + E7/fc + i = Sk^ 


而这正是鞅的性质所要求的 


假如设& = 0,取平凡分 割:诊 0 = { D }， 则序列 ( Sk ^ kh ^ n 仍然是鞅. 

，/ M 是独立伯努利随机变量： P {% = 1} = p , P{ m = -1} 


例2 设 


m ， 


q 




如果 <1 、则每一个满足 




= Sk - k(p - q ), 其中 Sk 


??i + … + 取 




的序列 f = (60 都是軟 


设 77 是独立伯努利随机变量， 豕 i <逐2 < … ，且 


^ = E(r?| 逻 fc ) 

那么，序列《= (^ kh ^ n 是鞠.事实上， E ( rf \^ k ) 显然 级 k - 可测，且由§8的 
(20) 式，可见 


( 2 ) 


E^fc+il^fc) = E[E(7?%fc +1 )| 逐 ^] = E(7/^fc) = ^_ 

因此,我们指出，如果卜 ( ik ^ kh ^ n 是任意鞅，则由§ 8 的（如）式，可见 

— ^(^ k + l \^ k ) = k + l )\^ k ] = ^(^ k +2\^ k ) = ' * — E (匕| 谬 fc ). ⑶ 

于是，一切鞅4 = 的集合，包含所有形如 （2) 式的鞅.（注意，对于 

无穷序列€ = Kfc, 级 fc )d ， 一 般并非 如此; 参见第七章§1练习题 6.) 
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是独立同分布机变量序列， s k 


例4设, 


"1 + _*• + %， 


? Vn 




,^ n =^ 


^1 = ^ Sn , ^2 =翅 


Sn ， … 、 S\ 


S^S 


r» - 1 ? 


证明序列 f 其中 


^ n + l—k 

n + 1 — fc’ 


S n 


Sn—l 


， （n = 夕 1， 


Cl = — ，《2 = 


，Cfc = 


_ ■ 


n — 


n 


是鞅.首先，显然贫 fc < 免 fc +1 且 ^ 为 级 k - 可测； 其次，由于对称性，对于 j ^ 

一众+1，有 


71 


E (7 lj \^ k )= E ( m \^ k ) 


(4) 


(与§8中 （26) 式比较)，因此 


n — k+1 

{ n - k ^ l )^{ r ]l \^ k )= Y , ^ j \^ k ) = E(5 n _ fe+1 |^ fc ) = 5 n 


_ 1 


3 = 


于是 


^n — k +1 


= B ( r ] i \^ k ), 


6 


71 — ft + 1 


故由例 3 可见序列 € = (匕， 幻抑❹是鞅 • 


注由已证明的序列《=的鞅性可知，为何有时称 { S k / k)^ n 
构成逆鞅或“反向秩”的原因（对照第七章§1练习题 5). 

是独立伯努利随机 变量： 


例5 设， • 




^{Vi = +1} = P{r/i = -1} 


yS k = 7/1 H - +" fc . 


2 


设乂和 B 是两个整数, A <0< B . 那么，对于任意0 < A < tt /2, 序列 c 二 Kfc^fc), 

其中颂 


，且 


Si、 …， Sk 


A + B 


= (cos A)~ fe exp < iX \ S k 


(5) 


2 


构成复鞅的实部和虚部都是鞅). 

停止时间由鞅的定义，可见对于一切 fc， 数学期望 E& 相同 


寺 


匕 = E6 


事实上，如果将（确定性）时间 A: 换成所谓停止时间，鞅的这一性质仍然成立 
对于相应的提法，我们引进下面的定义. 


定义2 随机变量 T = t(cv) (关于分割（啟 fc) <曾 2 4 … < 遂 y 称 
做停止时间，如果对于 fc = 1, 


随机变量 J {T= fc } (M 是 级 k - 可测的 


，n， 


. 論 
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§11 


KA ) i 




假如把分割齋 fc 勸 k 步观测结果诱导的(例如,由随机变童&， 

的分割 级 k = H 则变量 / {r=A:} (W) 的 级 k - 可测性 表示： 事件 {T = k }^- 

在与否仅取决于 fc 步的观测结果（而不依赖于“将来”). 

如果龙 fc = a (曾 fc ), 则变量 J {T ,M 的 级 k - 可测性等价于 假设： 


诱导 




[r = k} & 戈 fc. 


⑹ 


我们已经遇到过停止时间的 例子： §9和§10引进的时间 7f，tr 2n ， 就是停止时间 
的例.上面列举的停止时间是形如 


= min{0 < A: ^ n : ^ € 

min{0 < A: < n : ^ 6 .4} 


⑺ 




的停止时间的特殊情形，（相应为在0之后首次到达0和首次）到达某一序列心， 

&，…，^的集合 A 的时间. 

_ 

4. 停止时间的应用 


定理1设 f = ( Ckj ^ k ) l ^ k 4 n 是狭，而 r 是关于分割 (^ k ) l ^ k ^ n 的某一停止 


时间，则 


mr\^i) = ^u 


⑻ 


其中 


= y ^ Ak !{ r ^ k ] 


⑼ 


而 


6 


( 10 ) 


证明（仿照§9中 （29) 式的证明).设 D e 级^，则利用条件数学期望的性质， 
并注意到 （3) 的鞅性，有 


Ejirlp) 

P ( D )^ 

— VE [ E (^|^)^ r =0^] 


1 


Tmhr=l}lD) 


mr \ D )= 


P ⑼ { rM ) i D \^ i )\ 

l 1 

E (^/ z >)= E (^| D ), 


p ^) E E Kn / { .=0^] 

t — 1 


p ⑼ 


从而 




由此显然地得等式 E《 T = E& 


□ 
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系对于例1的鞅（私，负和任意（关于级 fc 的）停止时间 r ， 有等式 


2 


( 11 ) 


BS r = 0, ES 


等式 （11) 称做瓦尔德 （ A . Wald ) 恒等式（对照 §9, （29) 式和 （30) 式； 以及第七章 §2 
的练习题1和定理 3). 

利用定理1证明如下命题. 

_ 

定理 2 (“表决”定理）设 m ， …，恥是独立同分布机变量序列，其中仿在集 

合上{0,1，… } 只取有限个值，5^ 


+仉，1 < 彡 n ， 则 


m + 




_ ■ 4 




S n 


P{Sk < k,k e [ l , n ]\ S n } = 1 


( 12 ) 


n 


其中 a + = max ( a ，0). 

证明 (12) 式在集合 { u : S n ^ n ) 上显然.因此，只 需证明 对于使 乂 < n 的基 
本事件证明 （12). 

考虑在例4中引进的鞅$ =(心，其中 


S n 


_ 1 
k + r 


= 领 


ik = 


5 n+ i 


“、 S n 




n — 


记 


= min{l < A : 彡 n :心彡 1}， 


在集合 


St 


{Ck < € [ l ， n ]} 


max — < 1 

l^l^n l 


上设 


显然，在此集合上 =^ n = Si = 0, 因而 


r = n 


* 


5/ 


Si 


< < n > C {^ r = 0}. 


max — < 1 

l^/^n I 


(13) 


max — 

l^l^n I 


现在考虑同时使 


Si 


S n < n , max — ^ 1 

l^l^n l 


的基本事件.记 


易见， 


a = n + 1 — r . 


= min{l ( k 《 n : Sk > k }， 


a 


因此（由于 < n ) a < n , S a 彡 a ， 而 S a+ i < cr + 1. 可见 r / a+1 = 5 a+1 - S a 

(a + 1)- 


< 


1，即 r? a +i = 0* 所以 cr S a = S a+ i < a + 1，因而 S 


且 


a = 


=(X 


a 


^ n +1 


Sa 


—T 


Cr = 


—丁 


a 
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* 




从而 


Si 


^ l y S n < n } C { C T = l } 


(14) 


max - 

l ^ l^n I 


由 （13) 式和 （14) 式,可见 


5/ 


^ 1 1 ^ ^ ~ {Ct — 1} H {*Sri ^ ^}* 


max -- 

l^/^n I 


因此，在集合 S n < n 上 


Si 


十彡 1 5 n |= P« T = l \ S n }= E {^ r |5 n }, 

其中 因为心 只有 0 和 1 两个可能值,所以最后一个等式成立. 

最后,注意到, E ( e r |5 n ) = E (^|^ i ), 且由定理 1 知 EK t |^0 = - SJn . 于 

是，在集合 {& < n } 上，有 


P 


max , 

l^Kn I 


S n 


P {5 fc < k,k e [ l , n ]\ S n } 


□ 


n 


我们用定理 2 给出 §10 中引理 1 的另一证明，并说明 表决定 理名称的来历 

设6, . . .，《 n 是独立伯努利随机变量序列，且 

p {& = 1} = Pfe = -1} = 

Sfc = Ci + ... + 6：， 而 a 和 6 非负正数: a -6>0 ,a + 6 = n . 现在证明， 

P { A >0，〜，〜>0|6 T n 


b ] 


(15) 


a — 






fl "h 6 


事实上，由对称性，可见 


? S n > 0 |^ n ~ a — b } 

, S n < 0|< S n = _(a - fc )} 

= P-h 1 < 1, * • * , S n + T 1 < 7 l \ S n + Tl 


P{Si > 0 ? 

= P {5 i < 0, 




« • _ 


n — (ci — 6)} 




=P{??i < 1, 


+ Vn < n \7]! + … + ?? n 

a — 6 


一 （ci — 6)} 


+ 


=n 


畢 《 角 


_ 4 * 


■ 


n — (a — b ) 


a — b 

aT & > 


n 


n 


其中设 


《* + 1，并用到了 （12) 式. 

§10 中的 （5) 式曾经借助反射原理证明的，现在显然可以由式 （15) 导出 §10 中 


Vk 




的 （5) 式 


假设有两个候选人/和 B ， 我们可以把& = 1视为投 A —票，而把& = -1 视 
为投 S —票.假如有 A : 个人参加投票,而私是 A 和 S 得票的 差额; 假设4最后共 

而 S 最后共得&票,且 a -6>0 ，a + 6 


得 


则 


O 7TC, 


n ， 




P {& >()，•.• , s n > o \ s 7l 

表示 4 得票始终领先于 B 的概率.根据 （15) 此概率等于 （a - 6 )/n 




= a 
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练习题 

1. 设，激。彳谬 i … < 逐 n 是分割序列，颂0 = { 叫; 取是缪 k - 可测随机变 

证明序列 $ = ( ik ^ k ) i ^ n , 其中 


♦ 


k 


ik = y^Avi — ^( m \^ i - i )] 


是鞅. 


2. 设对于随机变量出，…，％， E(r7fc|r^， …，取― 1) = ()• 证明序列《= (^ k ) i ^ k ^ 


n? 


其中6 


且 


m 




k 


^k+1 = 〉二 Vi+lfi(Vl ， 


， Vi )， 


其中 A 是构成鞅的某一函数. 

3. 证明，任何鞅《= (^ k ^ k ) l ^ n 都有 不相关 增量： 对于 fl < 6 < C < d， 有 


cov(^ d ~ 一& ) = 0 


4. 设对于随机变量序列€ = (6, …，«,其中匕为 级 k _ 可测（遂^ 

^遂 n). 证明，为使序列《= (6, … ，&) (关于分割系 Wk }) 为鞅的 

充分和必要条件是，对于任意（关于 {^ fc } 的）停止时间 t ， 有 E《 T = E 6. (条件“对 
于任意停止时间”，可以换成条件“对于只有两个可能值的停止时间 ”.） 

5 . 证明，如果 （ = ( Ck ^ k ) l ^ n 是鞅，而 T 是停止时间，则对于任意 fc， 


4 


贸 2 ^ 


E [^ n I ^ T = zk y ] = E [^ fc /{ r ^ fe }]. 

6* 设€ = (^ k ^ k ) 和 W = ( r ) kl ^ k ) 是两个鞅，且匕=仍= 0. 证明 


n 


^nVn = - 0c-i)(7/fc — r] k —l). 


k —2 


特别， 


n 


—《 k - l ) 

fe=2 

， Vn 是独立同分布机变量序列，其中 E% = 0. 证明序列 f =(匕)，其 


2 


7•设 ?7 i ， 


中 


2 


k 


- kB V l 

_ exp{A(7?i +••• + %)} 

[Eexp{Ar/i}] fe 


ik = 
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都是鞅 


8.设 m , …，如是独立同分布随机变量序列，其值域为有限集合 [ 设 

My ) = P 切 1 = y } > o，y € Y \ h ( y ) ^ ^^ 2 My ) = i - 


y€Y 


Mm ) … Mm )’ 

是鞅 • (关系式 a 称做似然比，在数理统计中有十分重要的应用 .) 




n 




§12. 马尔可夫链.遍历性定理.强马尔可夫性 


1. 马尔可夫链在以上研究的伯 努利概 型中 ， n = { u > ： 
0,1}, 每个基本事件 w 的概率为式 P ({ uj }) = p ( u ;), 其中 


= ( 工 1 ， 


U ) 




1 — 怎 


P(^) = P($l) • • *P(Tn) ， P(x) = p x q 


( 1 ) 


在此情况下随机变量 Cl , …，^ 独立同分布， 其中=〜且 

P {6 = x } 


P{^n =工} = p ( x) r a ; = 0, L 






* « * 


如果将 （1) 式换成 


PM =Pl(^l)-^Pn{x n )j 

其中扒⑻ = pf(l - Pi ) 1-a; ，0 彡扒 < 1, 则 这时随机变量 6，._. ,€n 不再是独立的， 且 
一 般也不是同分 布的： 


P {6 = = Pi ( oc ), 


， P{《 n = a?} = p n (X) _ 

我们考虑这类概型的一种推广，将引出由 非独立 随机变量形成的所谓 的马尔可 


夫链 


假设 


Q = { u ; : uj = (xq^i, 


，工 n )， 工 i G 尤}， 


* 攀 » 


其中 X 是某一有穷 集合. 假设给定非负 函数: p 0 ( x )， Pl ( x ， y ), … ， Pn ( x ， y )， 满足 

Ep 0 (x) = 1 ， 


xex 

y^Pkix.y) = 1 , 

y€X 


( 2 ) 


k 二 1, 


， n ; x e X 


4 • * 


对于每一 a ; = (^ o ， a ： i ， 


，'), 设 P ({ a ;})= p ( a ;)， 其中 


P{^) = PoMPlixo.X!)^-Pn(x n ^lyX n ) 


⑶ 
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不难验证 


^2 p ( u ?) = 1, 




全体以及空间连同其一切子集的集系决定空间风 4 P ), 通常称之为形成 

马尔可夫链的试验模型. 

引进随机变置其中对于 a ; = ( xi ^ 


),^(0；) = Xi . 经简单计 


，^71 


算，可得 


P {《0 = a} = Po(a )， 

P{^o = « o ,6 =( H ，… A = a k } = Po ( a 0 ) pi ( ao , oi ) - - pk ( dk - i , ak ) 


⑷ 


现在对于上述概率模型⑴， j ， P )， 证明条件概率的一条重要 性质： 假设 P{a 

^0 = o , o } > 0, 


afc ， ’ 


P {0 t+i = o ， k + i\^k 


，《0 = tt o} = = ft fc+l = 


(5) 


afc ， 




_ 


# * 


由于 （4) 式和条件概率的定义 （§3)， 可见 


pte+i - flfc + i ， 

P{(fc =叫， 

= Pk + l {^ k ^ afc + i )• 


… ^0 = « o } 

7^0 = « o } 


P {《 fc +1 t ^ fc+llcfc 


,《0 = a 0 }= 

Po(ao)P i(ao, ai) •. *p/c+i(afc ? afc+i) 
Po(do)pi(a 0l - - 'Pk(ak-i,a k ) 


= 叫,… 


WWW 


类似可得 


P{Cfe+i ~ ^fc+i l^fc — afc} = Pfc+i(flfc, ftfc+i )， 


( 6 ) 


因而性质 （5) 得证. 

设逆^ =赍 


是随机变量心，…，^诱导的分割，而』1 = a (^ l ) 
那么，根据§8引进的记号，由 （5) 式可见 


Co，“- ，《fc 


P{6t+i = afc+i|-^i} = p {^fc+i = ^k+i\^k} 


⑺ 


或 


P {《 fc+i = 叫 +1 |€。，…，心 } = P {^ fc+i = ^ fc + i | Cfc }- 


注鉴于 （5) 式和 （7) 式以及 0 概率事件，暂时中断我们的叙述，作对整个以后 

的全部内容至关重要的说明. 

在推导 （5) 式时曾经假设 P {^ 

所以需要这样，是因为条件概率 P ( A \ B ) (暂时!）只有在 P ( B ) > 0的条件下才有定 


，& = a 。} > 0 ( 即 P{^fc = ak } > 0), 之 


= 叫， 


i < 


义 


但是，需要指出，如果 B^{^ k = 


^o = a 0 } 而且 P ( B ) = 0 (因此，对于 

C ={^ k = afc }， p (<7) 二 0), 则“路径”应视为 不可实现的， 那么，事件 {^+1 = a k } 关 
于这条不可实现的“ 路径”的条件概率的问题，也就毫无实际意义. 


叫， 
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因此,为明确起见，我们以后把条件概率定 义为: 

( P ( AB ) 

P { A \ B ) = i " PM " 


，若 P ( B ) > 0, 

若 P ( S ) = 0- 


0, 


在这样的定义下，无需诸如 P{^fc 

(7) 式仍然是正确的. 

应强调指出，所指出的与零概率事件有关的困难,在概率论的论述中相当典型. 
在第二章 §7 中将引进（关 于任意 分割、 a - 代数 
以自然地“用于零概率的”情形. 

如果利用明显的等式 


^o = a 0 }>0 的任何前提， （5) 式和 


= 


* » * 


的）条件概率的一般定义,可 




P ( AB \ C ) = P ( A \ BC ) P ( B \ C ), 


则由⑺式，有 


— = P{Cn 


PR 




⑻ 


= 如， 






n 


或 


P {6 i = a n ， 


■e+l = afc+i fo, 


，《/ c} = P{《n = a 


+i = Ofc+il^fe }- ⑼ 


響 f 




此等式有如下直观的解释.假设 a 表示质点在“现在”， 

质点在“过去”，（6+1，…， u 表示质点在“将来”.那么，⑼式表 示：在 “过去 

(心，…，匕-1)和“现在”匕固定的情况下，“将来” &+!,*•• ^ n ) 仅依赖于 “ 现在 
仏而与质点如何到达点&无关，即“将来”不依赖于“过去 

设 J = {€n = 
ao }®, 则由⑼式可见 


，《 fc - l ) 表不 








♦ ，心+1 = a fc+1 }，X = {匕= a k },G - 


，^)= 


an ， ’ 


P ( J | XG ) = P ( J | X }， 


由此容易求出 


P ( JG | X ) = P ( J | X } P ( G | X ) 


( 10 ) 


换句话说 ，由 （7) 式可见，在固定“现在” X 的情况下，“将来” J 和“ 过去” G 相 
互独立， 不难证明逆 命题： 如果对于任意 fc = 0,1， 

意 fc = 0,1， 


1， （10) 式成立，则对于任 


，n — 




- 1，性质也成立. 

将来”和“过去”的独立性，或者说，在固定“现在’’的情况下，“将来，，和‘‘过 

去”相互 独立， 通常称傲 马尔可夫性， 而相应的随机变童序列匕…，&称做 马尔可 




U 


夫健 


表示“将来”， X 表示“现在”， G 表示“ 过去' ——译者 
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这样,如果由 （3) 式决定基本事件的“权重” PM , 则序列《 = (‘•••，&)构成 
马尔可夫链，其中= Xi . 

于是，引出如下定义. 

定义设是某一（有限）概率空间,€ =(心…，匕）是（有限）随机变 
量序列，而（有限）集合叉是其值域.如果满足条件⑺，则序列€ = (&，…，匕）称 
做（有限）马尔可夫链. 

集合 X 称做马尔可夫链的相空间或状态空间.概率的全体 


{po(^)},po(^) = P{6 = x},xeX 


称为初始分布；而矩阵 


(p k (x,y)),x,y G X,p k (x,y) = P{6 = 2/|^-i = x} 

称为在时刻二 ；!,•••，n (自状态 a : 到状态 ?/) 的转移概率矩阵. 

如果转移概率不依赖于: Pk ( x , y ) = p ( x , y ), 则序列$ = (€ o , …，匕）称为转移 
概率矩阵是 ( p { x , y )) 的齐次马尔可夫链. 

注意, ( P ( x , y )) 是随机 矩阵： 其元素非负，任何一行元素之和等于1, 

X^p(x ， y) 


= 1 , X G X 


假设相空间 X 是有限个整数点的集合（例如 ， X = {0,1, y N},X = {0, 

土1，… ，士 JV } 等).此夕卜，根据习惯记 Pi = Po(i),Pij = 

显然,齐次马尔可夫链的性质,完全决定于初始分布 Pi 和转移概率在有些 
情形下，为描绘马尔可夫链的演变，不明显写出矩阵 ( Pij ) ,而是运用有向网络，其结 
点表示 X 中的状态. 


Pij 


而箭头表示自状态 i 指向状态），箭线 上的％ 是质点可能自点 i 转移到点 j 的 


概率 


例1 设义={0，1，2}和 


0 0 


(Pij) 


1/2 0 1/2 
2/3 0 1/3 




该矩阵对应下面的网 络图： 

注意,这里状态0是“吸收状 态”： 由于 p QQ = 1，可见一旦质点进入状态0,则它 

就停留在此状态.质点自状态1以相同的概率进入相邻的状态0或2;对于状态2, 
质点留在其中的概率为1/3,而由状态2转移到状态0的概率为 2/3. 
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1/2 


1/2 


1/3 


0 


2 


2/3 


•J 


设 = { 0 , 土 1 ，…，±^}, po 


1,而对于 \ i \ < N , 


hPNN = P-N-N = 


V 、若 j = i + l , 

若 』 =i - 1， 

0,其他 情形. 

可以用图形表示对应于这样链的转移情况 （TV = 3) 


( 11 ) 


(h 


9 


<1 


q 


p 


p 


p 


o 


—2 


2 


P 


P 


q 


9 


该链对应于上面研究的甲、乙两人的 博弈： 每人的赌金为 TV , 甲每一步以概率 P 
乙得+1,以概率 g 输给乙得 -1. 假如把状态 i 视为甲贏得乙的金额，则到达状态 N 
和-#，分别表示乙破产和甲破产. 

事实上,如果 …， Vn 是相互独立的伯努利随机变量,其中 P{»?i = +1} = 

P ， P 切 i = -1} = 9， 而* = + *. ■ + 取 是甲贏得乙的金额，则序列5*0, 《5 i ，... ， 

S n { S Q = 0) 形成马尔可夫链且 p G = 1，而转移概率矩阵为 （11), 因为 


P { Sk+i = j\Sk = 4, Sk 

+ Vk+l = j\^k ~ 

P{^fc + Vk+i = j\Sk = h} = P 切 fc+i = j - ik} 


,^ x = n } 

^1 = h } 


-l = U-i ， 


• 4 • 


—1 = 兄 fc-1〆 * 






马尔可夫链 S ()， 负，…，具有十分简单的构造 


Sk+1 = + T } k+u 0彡 fc 彡 n - 1， 


其中 … ，"n 是独立随机变量序列. 

同理可得，如果 ^ mr -, Vn 是独立随机变量序列，则序列，匕也是 

马尔可夫链,其中 


《 fc+i = fk[0c ， Vk+i )， 0 彡 fc 彡 n — 1 


( 12 ) 


因此应该指出，自然把这样构造的马尔可夫链,视为由递推关系式 


x k+l = fk( x k) 


决定的，如（确定性）序列 ( xo , x ir - , x n ) 的 概率的 类似. 

现在再举一个“排队论”中、形如 （12) 式的马尔可夫链的例子. 
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例3假设在出租车站每单位时间有一辆车到达.假如在停车站无乘客等候，则 
车立即离去.以彻表示于 a ： 时到达车站等车的乘客数童,并且假定 饥，"2， 

相互独立的随机变量.设 《 fc 为在时刻乘客的队长,其中& = 0. 那么，如果& =： i ， 
则在下 一时刻 A ： + 1 的队 长等于 


是 


，加 


若 i = 0, 

i — 1 + 巧 fc + i ， 若 i > 1. 


Wfc + i ， 


换句话说, 


Cfc+i = (Cfc — 1)+ + Wfc 十 1， 0 ^ k ^ 71 — 1， 

其中 a + = max ( a ,0), 从而序列《=(心 ，…， 匕）是马尔可夫链. 

例4 此例涉及分支过程理论.所谓离散时间分支过程，是这样一个随机变量 
序列心，6,…，匕，其中^表示在时刻 fc 质点的数量，而且质点的生与灭的情况是 
按如下方式进 行的： 每个质点以概率巧 (j = 0, l ，...， M ) 裂变为 j 个质点,裂变既不 
依赖于其他质点，也与“过去历史”无关. 

假设在初始时刻总共只有一个质点，釦 = 1 . 假如在时刻 fc 有编号为 1 , 2 ,..., ^ 

的 a 个质点，那么根据上面的描述， a + i 等 于随机多个随机变量 之和： 


C / c+i = ^?1 ) 




+ 


+ 


» » « 


其中 V fc ) 是第 i 号质点裂变的质点的个数_ 显然， 若心= 0,则^ +1 = 0. 假设所有 
随机变量 T ] f\k ^oj ^ 1相互独立，则 


p {6：+i = 4+i|Cfe = 4,6fe-i = 4-1，_ ’ •} 

P{^fc+i = ik+i\Ck = h} = P{^ fc) 


+ = H+i} 


+ 


m M * 


由此可见，序列…，^是马尔可夫链. 

特别重要的是下面的 情形： 每一个质点，或者是以概率 9 灭绝，或者以概率 
变为两个质点,其中 p + g = L 对于这种情形，容易 经计算 得到： 转移概率 


P 


Pij = = Mk = i} 


由下面的公式给出. 


cfV/V 


E ' j /2 


， 若 j = 0, …， 2i ， 


Pij ~ 


其他 


0, 


柯尔莫戈洛夫-查普曼 ( Kolmogorov - Chapman ) 方程 记$ = (^,11, IP ) 

为齐次马尔可夫链，其初始概率行向量为 n = ( Pi )， 而转移概率矩阵为 p = ( Pij y 


, 


显然‘ 


Pij = PUi =Mo = i} 


P Un - Mn-1 = i} 






4 • • 
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记 


Pif = Pte = Mq = (= p {6+/ = j\Ci = 

为经 fc 步由状态 i 到状态 j 的转移概率，而 

Pj k) = p to =j} 


1，2,…) 




是质点在 k 时位于 j 点的概率.亦设 


n( fc ) = ( P 严 )， pd {pf) . 

我们证明，转移概率满足“ 柯尔英戈洛夫-查普曼方程 


(fc+/) _ 


(13) 


其矩阵形式为 


p(fe+i) _ jp(fc)p ⑴， 

基于全概率公式和马尔可夫性，关系式 （13) 很容易 证明: 


(14) 


(fe +0 _ 


P{Cfc+/ =Mo = i ) = P{^+/ = 义 心 = a ISo = 0 

a 

E p 如 =j\^k^ a}P{《 fc - a |€ 0 = t]- E « 


方程 （13) 的两种特殊情形最 重要： 后向方程 

S Pi ^ Pa ] 


㈣ ）_ 


(15) 


和前向方程 


(fc+i) 


(fc) 




(16) 


P0Lj 


(见图22和图 23). 

前向方程和后向方程的矩阵形式相应为 


p (^+ i ) _ ip ⑻] p ， 

p ( fc + i ) = pjp ( fc ). 


(17) 


(IS) 


对于（无条件）概率 pf \类似地可以得到 


(k+t) 


E «， 


(19) 


而其矩阵形式为 


jj(fc+0 _ jj(fe)p(i) 
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k k + 1 


22后向方程 


23前向方程 


特别，前向方程为 


jj(fc+l) _ ⑻ P ， 


而后向方程为 


n (fc+1) - n ⑴ p ⑻ 


由于妒⑴= p ， n ⑼= n ， 可见 


p( fc ) = p fc ， n (fc) = np fc 


步的转移概率 ； 4 fc) 是矩阵 p 的 k 次幂 . 从而，齐 


因此，对于齐次马尔可夫链， A; 

次马尔可夫链的许多性质，可以用矩阵方法进行研究 . 


!) 考虑具有 0 和 1 两个状态，而转移矩阵为 


Poo Poi 


p = 


PlO Pll 


的齐次马尔可夫链.不难计算 


Poo + PoiPlO PoiiPoo + Pll) 
Pio(poo +Pll) Pll+POlP 


p 2 = 


10 


而由归纳法，有 


1 一 Pll 1 一 Poo 
— Pll 1—Poo 

1 — Poo —(1 — Poo) 

—(1 -Pn) 1 —Pll 


pn = 


2 — poo ~Pii V 1 


(Poo +Pll — l) n 

— Poo — Pll 


2 


(假设 Ip。。+pu - i| < l) 
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由此可见，如果矩阵 IP 的元素使 Ipoo+Pn - 1| < 1 (特别,如所有转移概率 Pij 
都大于 0), 则当 


时，有 


n — ^ cx ) 


1 — pn 1 — poo 
一 Pn 1 一 Poo 


( 20 ) 


pn 


2 — Poo - Pn \ I 


从而 


1 ~Pn 

2 — Poo — Pn 


1 ~ Poo 

2 — poo — pn 


lip *〉 

I 

于是，如果 boo+Pll - 1| < 1，则所研究的马尔可夫链的行为有如下规 律性： 随 
着时间的推移，初始状态对“质点处于不同状态的概率”的影响逐渐消失 （4 n) 收敛 

于不依赖于 i 的极限值％，并形成概率分布： 7 T 0 ^0,7 Tl ^ 0,7 T 0 + 7^ = 1)； 假如除此 

之外假设 pij > 0,则极限值 7 To > 0, TTj > 0 (对照下面的定理 1). 

3. 遍历性下面的定理描绘的广泛的一类马尔可夫链，具有所谓遍 历性： 极限 


， lim p 4 ^ } = 


PiT 


冗 j = 


不但存在且不依赖于 i 构成概率分布 


巧 > 0, 7Tj = l, 


y 

3 


而且对于所有巧 > 0 (这样的分布称做遍历分布，详见第八章 §3). 

定理1 (遍历性定理）设 P = ( p i：i ) 是马尔可夫链的转移概率矩阵，且状态 

X = {1，2, …， 7 V } 有穷. 

a ) 如果对于某个 n 0 , 有 


(n 0 > 


( 21 ) 


> 0 , 


mm pij 




则存在 M , 


，兀 iv ， 使 


々〉0, 〉: 7 Tj = lj 


( 22 ) 


J 


而且对每个 j e X 和任意 iGX , 有 




(23) 


7Tj、n ― > oo 


b ) 相反，如果存在满足条件 （22) 和 （23) 的數 ttu 


則存在满足条件 (21) 




的 n 0 


c ) 式（ 2 2)中的数（巧，… , n N ), 满足方程组 

7Tj = 7T aPaj ， j = 1, 


(24) 




j 



第_章 初等概率论 


116 


证明 a ) 记 




(n) 


(n) 


(n) 


M 


=max 


=min ， 


mi 


3 


l 


t 


由于 


pr i )= Erf ， 


( 25 ) 


a 


可见 


P^J ^ min Y1 m i n = m ^ } 5 

a Of 

^ m $ n + l ) , 且类似地 M \ n) ^ M 卜 +1) . 从而，为证明命题 （ 23 ), 只需证明 

3 j */ 


(n+l) 


(n+1) 


=min 


= 平 p-j 


t 


% 


(n) 


因此 




3 


(n) 


(n) 


，N 


0, n — oo , j = 1, 


M ) 


— m : 


9 * * 


J 


J 


(n 0 ) 


> 0, 则 

= Eht) - OS) + ^ E pX 

i\pt 0) - ^ sp^\ 


设 


^ = min p i：j 


h 3 


(no+n) 


a 


OL 


而由于 P = D ) — epg 彡0,可见 

Jno+n) 


m》 n) (l - e ) + ^】 n) ， 


(2n) _ 


印 》 :)1 + £ P 


(no) 


(n) 








33 


tot 


3 


a 


于是 




(n 0 +n) 


m;- 


j 


类似可得 


< Mj n ) ( l - s )+^ n) 


(n 0 +n) 


M 


3 


由上面两个不等式,得 


㈨ - m (n) 


(n 0 +n) 


(no+n) 


)( 1 - 0 , 




M ) 


— 


j 


j 


j 


从而 


⑻ — m ! n) 


(fcno+n) 


)(1 — e) k I 0, 


(feno+n) 


k — oo 




M 


— TUa 


3 


J 


J 


(n) 


0, 由于差 Mj n) 


( 打卢 ) 


(n 卢 ) 


时，对于某序列 

时，< 

，则由所得到的估计可见，对于 n > n 0 , 有 


于是，当 

关于 n 的单调性 可见， 当 


— m : 


— m ; 


71 — 00 


3 


3 


(n) 


n) 


0 


— m : 


n — oo 


3 


(n) 


若记 7 Tj 


=lim 


n 


(n) 


㈤ - 小 iwf ) 


((1 


— m : 


j 
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以几何速度收敛于极限值 
同样显然 

b ) 因为状态的个数有限，且 tt , > 0,故由 （23) 式可以直接得到 （21) 式 

c ) 由（ 23 )式和（ 25 )式，得方程 (24). 

4.马尔可夫链的大数定律在马尔可夫链的理论中，方程组 




⑻ 


(打 0) 


> e > 0, n 彡 no ， 即 TTj > 0 


> m ) 


，爪 ; 


3 


3 


□ 


〉: x aPaj ， j 




(24*) 


工 j = 




3 


有重要作用（对照 （24) 式) • 其任何 非负解 Q = ( qi ，…， q N ) 都满足条件 Y ： a q a 
习惯上称做转移矩阵为 （ py 的，马尔可夫链的平稳分布 或不变 分布.现在对这一名 

称作如下说明. 

设初始分布为 Q =(仍，…, Qn )^ 即假设 ； Pj — = 1 ? 

^ : QaPaj = Qj 


1. 




具 那么， 


• * * 


⑴_ 


(n) 


且一般 p ) 

的改变无 变化， 即对于任意 A :， 


换句话说，假如取 Q =( qir - , QN ) 做初始分布,则此分布随时间 


= Qj 


* 


p te = j } = Pte ) 二 几 j = i , 

不但如此，具有这样初始分布 Q - (qw- ,q N ) 的马尔可夫链4 =(匕， Q , P ) 是平 
穗的： 对于任意随机变童(^,^+ 

+ / < W )， 

条件 （21) 保证了存在不依赖于 i 的极限 

7 ^= 1 $ p[j\ 

而且遍历分布存在，即存在 （ 7Ti .， …， Trjv ),7 Tj > 0. 这时分布 (7Tj, • ■ * , 7Tjv) 也是 平穗分 
布.现在证明分布 （ 7T1, … ,7Tjy) 是唯一平稳分布. 

事实上,假设 （ A ,. …， ％ V ) 是另一个平稳分布.那么 

IX ) • 


. ,JV 




,4+ i ) 的联合概率分布不依赖于 fc (假设 


1， 


71 j ~ ^apaj — • 


. ,= 


由于 Paj 


7 TJ , 可见 


a 

注意， 对于非遍历链也可能存在平稳概率分布 （并 且唯 一). 事 实上， 若 


^3 = 


=^3 


0 1 


p = 


1 0 
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则 


0 1 


1 0 


p 2 


p2n + l „ 


1 0 


0 1 


从而极限 limpg 不存在.然而,方程组 

n J 


^2 qaPa ^ ^ = l ^ 2 


Qj = 


变为方程组 


<nn 


Q 2 = qi , 


(1/2,1/2) 是其满足条件 Qi + ^2 = 1的唯一解 (qu Q 2). 

还应指出，对于前面在第2小节讨论的例子，方程组 （24*) 为（其中％ 


如 = 娜 00 + QiPiOj 

r 

qi = qoPoi + gipn - 


所以，注意到条件仍+仍=1，由此可见，唯一平稳分布 ( qi ， q 2 ) 就是已求得的分布 


1 -Pn 

2 — Poo — Pn’ 


1 — Poo 
2 — Poo — Pn 


Qi = 


Qq = 


现在，讨论由遍历性定理得出的若干推论 

设4是一状态组，4 ^ X ，而 


1，若 x G 
0，若 x 多 


^ a {^) = 


引进随机变量 


^ Ko ) + …+ ^ A (^ n ) 


^ A { n ) 


即质点在集合4中度过的 时间的比率. 由于 

WAi^mo = = pfe ^ 卜 W fc) ⑷)， 


j^A 


可见 


5> (fc) ⑷， 


E Kt(")l《o = i]= —— 


k=0 


特别 


㈨ 


[%} WKo = i} = 


k^=0 
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由数学分析（亦见第四章§3的引理 1) 知,如果序列 


则 


d n ~ > 






n —► oo 


时 ㉟ 

E " U }( n ) — -> 7 T A , 其中 


因此，如果当 k 


则 


—^ 00 


7 T )、 




7 TA = 


j€A 


实际上，对于遍历链可以证明得更多，即可以证明随机变量 I A (^) r - , 
I A ( Ur - 服从大数定律. 

大数定律.如果& ,6,... 是有限遍历马尔可夫链，则对于任意 e > 0,任何 

ACX , 以及任意初始分布， 


P{\i/ A (n) - n A \ > e} — 0 ， 

在证明之前需要指出,不能直接利用§5中关于伯努利随机变童序列心(6)，…, 
&(&),••• 的结果，因为一般说来这些变量是不独立的.然而，如果仍然利用切比雪 
夫不等式，以及如下事实：对于有限状态遍历链，存在 0< p < l 和 C >0, 使 

\Pif -7 Tj | ^ Cp n , 

则可以用与独立变量同样的方法证明 （26) 式. 

考虑状态丨和 j (有可能重合)，并证明对于 e > 0,有 

p (l I/ {j>( n ) - n j\ > £ l^o = i} — 0 ， 


(26) 


rz — oo 


(27) 


(28) 


n — oo 


由切比雪夫不等式，有 


E { k { j }(«) = i } 


p { k { j }( n ) — W > 张0 = 0 < 


2 


£ 


因此，只需证明 


- 〜| 2 |(o = 0 — 0, 


72 — 00 


通过简单的计算，可得 


- ^ j \ 2 \^0 = i } 


2 


n 


n n 


ko = * ?= 


(fc ， i) 


EE 






(n + l ) 2 


(n + l ) 2 




灸 =0 


k ^=0 i =0 


其中 




= ⑹ ll《o = i}- ^E[^{j}(6)l^o = i] 

- 7 rjE [/{ j }(^)|^ 0 = + 

Pifpfj - - ^JPij 

min(A: ， Z )， 亡 \k-l\. 






2 




2 


+ 7 T ^ 






3 > 


S 
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由 （27) 式 


Pif \ £ ij ] \ ( c p 


所以 


^ Ci [ p s + 〆 + 〆 + 〆 ]， 


其中 Q 是某一常数.从而 


C ! 


( k 4) 


EE 


zzy +〆+〆+〆] 

k =01=0 

2(n + l) 






(n + 1) 


2 


(n + l) 2 




fc =0 1=0 


4 C ± 


8 Ci 


0, 




x 


n —^ oo 


(n + 1) 2 


(n + l)(l - />) 

由此就可以证明关系式 (28), 而由 （28) 式可以明显地得到命题 （26) 

游动时间的概率和期望的递推方程对于由伯努利概型诱导的随机游动 
负，…，在§9对于越出某一边界时间的概率和数学期望，曾经得到递推方程.现 
在对于马尔可夫链导出类似的方程. 

假设€ = (&，6,…）是转移概率矩阵为 (阳)、 相空间为 X = {0, 土1，… ,± N } 
的马尔可夫链.设乂和丑是两个整数， — 且以义 
表示经右端点首次越出 E 间 ( A , B ) 的轨道 ( x 0 , xi , •• - , x k ), Xi e X 的集合，即越出 
集合 ( A , B ) 进入集合 （ B，5 + l ， . ， . ， iV) 的轨道 y x k ), Xi eX 的全体. 

对于4 Z S ，设 


1 


~ P 




A +1 


Pk ( x ) = P {(《 0 , … ，⑴ G 爲; + i|《o = 

为求这些概率（即马尔可夫链经右端点首次越出区间 ( A , B ) 的概率)，可以利用 

推导后向方程的方法.有 


( 3 k { x ) = P {(《 o , …， 6：) e ^ k + i\^o = x } 

= 》： PzyP{( 《 0, ? Cfc) ^ *-^fc+l iCo — ^1 = y}^ 


y 


其中，利用马尔可夫性和链的齐性，不难证明 


P {(《 o , …， 6：) e -^ fc + il^o = = y } 

= ?{( 工， ?/ ， €2,… ， 6b) G ^k+l \^0 ~ = y] 

= P {( y ，6, …，心 ） e ^ k\ii = y } 

= p {( y ，《 i ， …，心 - l ) e = y } = Pk - i ( y ) 


因此，对于 A < x < B ^ l ^ k ^ n ^ 


Pk( x ) — 〉 ^p2cyPk—l(y)^ 


y 
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这时，显然 


Pk(x) = 1 ? 


5,5 + 1， 


，#， 


x — 


* 攀* 


和 


/3 fc (x) = 0 ， 

对于经左端点首次越出区间 ( A ， B ) 的概率 a k ( x ), 可以类似地导出方程. 

设 A = min {0 ( K k U 并且当集合 {■} = 0 时 r fc = 那么，用对 

m k ( x ) = ^{ r k \^= x } 用的同样方法，可以导出如下 方程： 

= 1 + Y^ m k-l(y)Pxy 




—N, ， 


X = 


y 


(其中 1 彡 A : 彡 n , 汲 < z < B ). 这时 


mfc ( x ) = 0， x ^ ( A , B ). 

显然，如果转移概率矩阵由 （11) 式给出，则 afcO ^ Kx ) 和 m k { x ) 的方程就是 
§9中相应的方程,这些方程的推导方法实质上与这里方法一样. 

最重要的是，在游动时间无限的情况下，将这些方程用于极限情形.像§9中一 

时，相应的方程通过形式地极限过度，可以由以上得到的方程导出. 
作为例子，考虑状态为{0,1，…， 5} 的马尔可夫链，假设其转移概率为 


样，当 fc 


— y oo 


Poo = 1 ， Pbb = 1, 


而对于1彡 i B - 1 


Pi > 0,若 j * = i + 1， 


若 .7’ = i 


Pij = 


ru 


Qi > 0, 若）=€ —1， 


其中 Pi + r i + Qi 

该链可以用如下图形表示 






由此可见，状态0和 B 是“吸收状 态”； 对于任何其他状态 i ， 质点以概率 n 滞留，以 

概率 Pi 向右移动一步，以概率&向左移动一步. 

现在求① 


a ( x ) = lim afc ( x ), 


k 


<^ a k ( x ) 是轨道在时间段 [0, fc ] 上经点4处越出区间 ( A , B ) 的概率（见 §9). ——译者 
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即质点自点: T 出发早于到达状态 B 而到达状态0的极限概率.当 k 
0 < j < B ， 在 a k ( x ) 的方程中求极限，得 


时，对于 


— 00 


a(j) = qMJ -1) + ^MJ) + pMj + 1) ? 


且边界条件为 


a (0) = 1, a { B ) 


0 




，贝 (I 


由于 


r j = 1 — qj — Pj 


PjU + 1) — ^(j)l = QjM) - a 0* - !)1* 


从而 


a(j + 1) — a(j) = pj[a(l) - 1], 


其中 


Pi … Pj 


， Po = 1 


Pj 二 


因为 


J 


[][a(i + l) — a(i )]， 


Q£(j + 1) — 1 = 


i—Q 


所以 


J 


a U +1) -1 = wi) -1] 


pi 


i=0 


如果 j = B — 1，则 a(j + 1) = a ( B ) = 0，艮 P 


a(l) — 1 






B-l 


E 


Pi 


i=0 


于是， 


B^l 


B-l 


E 


E 


Pi 


Pi 


1=3 


t = 


Of(l) — 


， oc(j )= 




_ » 


B-l 


1 


E 


E 


Pi 


Pi 




i^O 


(与 §9 中相应的结果比较 .) 

现在设 


m(x) — lim mjt ㈤ 


是游动的质点在到达状态0或 B 之 一前， 所度过时间的极限值.那么， m (0) 

m ( B ) = 0, 


m(x) = lH-^m(y)p xy , 


V 
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从而，对于所研究的例子，对于一切 j = 1 ，…， B - 1，有 


m(j) = 14- qjm(j — 1) + rjm(j) + 1) 


为求 m ( j ), 记 


M(j) = m{j) ~m(j - 1), j = 1, 


，从 




■ 


* 


那么， 


PjM(j + 1) = qjM(j) - 1, j = 1 ， 


， B — 1， 


4 * * 


从而求得 


M(j + l)= Pj M(l)-R jy 


其中 


Qi - Qj 

Pi … Pj 


qj 

pj-i 


qj … < i 2 

Pj—i … Pi 


， R j = : r 


pj = 


Pj 


因此 


3 一 


(j) = rn(j) - m(0) = ^M(i + 1) 


m 


i=0 


i -1 


J 一 


J- 


Y ^[ pim ( l ) - Ri ] = m ( l ) 


i=0 


i =0 


i=0 


最后，只剩下求 m ⑴.由于 m ( B ) = 0,可见 


B-l 


S Ri 


i=0 


m ⑴ 


B-l 


E 


Pi 


i =0 


而对于 


B-l 


^2 


j-i 


j-i 


m{j) = x 


i=0 


E 私 




B — 1 


i=0 


i =0 


E 


Pi 


i=0 


(与 §9 相应的结果比较，其中 n = 0 ，Pi = p，qi = g ) 
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强马尔可夫性这一小节研究马尔可夫性 （8) 的一种 强化： 将普通时间 A : 换 
成随机时间后马尔可夫性仍然成立（见下面定理 2). 这一称为 强马尔可夫性 的概念 
的重要性，1例如在推导递推公式 （38) 的过程刊将得到证实,而公式 （38) 的递推公 

式对于马尔可夫链状态的分类至关重要（第八章). 

设4 是齐次马尔可夫链， 0^；) 是转移概率矩阵，逐^ = (^ t ) o^n 

是分割系，其中逆^ = 负（ 


_ 


以表示由分割逆1生成的代数 a (^ k ) 
我们首先给予马尔可夫性 （8) 另一种表达形式.设 S e 并证明 




()， 


.• * 


P(^n — 


，《 fc+i = a fc+ i|S n {^k = ak}) 

= — a n ， •.. ， Cfc+i ~ ^fe+i l^fc = afc) 


m 


(29) 


(假设 P ( Bn {^ k = a k })> 0 ). 实际上，集合 5 可以表示为 

E {《0 

其中表示对某个数组 （ aj , …， O 求和.因此 




，心= 4}， 


B 


= %， 




番 . * 


P(€n = a n ， 

P ({4 n = a 


，心 +1 = afc + l|B Pt { 心 = ak}) 

= afc} n B) 

P({6t = 叫 } n S) 


• * « 


n? 


E * P(Kn = a 


， 6fe = 叫 } n {《o 


? — ^ fc }) 


本 


a 




* • • 


0, 


ni 


(30) 


P({^fc = « fc } n B ) 


而由于马尔可夫性，可见 


P({《n 


= ttfc } n {& = … Ak = aJb }) 

•’ ，《 fc+l = ^fc+l |^o — a 0 ^ 

xP(^o = a 5, …，^ 






4 * 




， = O 

d/c — o ^, 


=a 


* • • 


n 


ni 


), 若 


* 


a 




k 


o , 


P(^n 


• • ， 4fc+l = ^fc+l|Cfc = <^k) 

XP(€o = ^ ， • ♦ •，€k = O ， 若 CLk 


=a 


nj 




=a 

^5 r afc _ fl 《， 


fc ， 


o , 


= a n ， 


，€ fc+l = ^ fc + l|Cfc = ^ k ) 

xP({Cfc = flfc } 门 B )， 


_ » » 


若 


* 


ak = a k , 

若 a k ♦ a%. 


0, 


从而 （30) 式中的和乙 + 等于 


P(^n = d 


i ^fc+i = ^fc+i — afc)P ({^； = <xfc} n s), 


n ， 


于是， (29) 得证 • 

设 T (关于分割系 = (^ i ) o ^ n ) 是停止时间（见§11定义 2) 
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定义 称代数中的集合 5 属于集合系 JB \、 如果对于每一个 

Bn{r = k }€ J^l 

不难验证，这样集合3的全体义 f 构成代数（称之为到时刻 r 之前观测到的事 

件的代 数). 

定理2 设 f = (&，… ，匕） 是齐次马尔可夫链 , (Pij ) 是转移概率矩阵 ， t (关于 

分割系 级乞、 是停止时间 ， S G 而乂 = { o ; : t + / < n }. 那么，如果 


n ， 


(31) 


P(^4 D B n {^ T = ao}) > 0, 


則下面的强马尔可夫性 成立: 


P (^ r + i - a h 

= P (( T +/ = 


’ ^ r+i = 1^ n 5 n {f = ao }) 

，（ r+i = ai\A(l {^ r = a 0 }), 


(32) 


^ * 


且（当 P (4 n {《 T = a o })>0 时) 


P (^ r+ / = at, 


， ^t+ 1 = Ol 1-^4 D {^ T = fl。}) = Pao^i 


(33) 


Pai^iat 


证明为简便计，我们只证 明/二 l 的情形，由于 B n { T = A ：} e <，可见根据 

(29) 式，有 


P(^r+i = m ，An B n {f = a 0 }) 

=E P{€fc+i = 

k^n — 1 

= p {^+i ^ a ilOc =ao,r = k, 5}P{^& 

k^n — 1 

=[ P {4 +i = ai|《fc = a 0 } P{《 fc 

E 哪 

k^ri — 1 


二 k ， B } 


= a 0 ,r 


=A;, B} 






KB } 


=tto, T 




k^n — 1 


fc, 5} = p aoai P(A A B n {《 T = ao}), 


~ Pa 0 ai 


= a 0 ，r 




于是， （ 32 ) 和 （ 33 ) 式得证（对于 （ 33 ) 式的情形，应设 B = Q ) 

注1显然， 对于/ = 1的情形，强马尔可夫性 （32) 和 （33) 式等 价于： 对于任意 


□ 


ccx f 


P(^ T +i ^ C\A nB n {^ T = a 0 }) = P ao (C), 


(34) 


其中 


p.o ( c ) = y ; 


Paoai 


ai^C 
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而 （34) 式可以表 述为： 在集合 A = {r < n - 1} 上， 

P 仏 +1 GC | J ^}= P 《 r ( C )， 


( 35 ) 


这在一般齐次马尔可夫过程论中，是强马尔可夫性常用的形式之一 

注 2 即便没有事件乂 n B n {心= a 0 } 和 4 n {心= a 0 } 的概率大于 o 的要求, 

性质 （32) 和 （33) (只要利用注1所描绘的约定）仍然成立. 

7 . n 步的转移概率 

概率矩阵， 


(n) 


设€ = (6, …，匕）是齐次马尔可夫链， （ Pd 是转移 


Pij 


⑻ 


p (€fc = ^ ^ ^ k - l|^o = i), 


(36) 




It 


而对于 


= h il ^ h 1 ^ k - l|^o = i), 

分别是在时刻 A : 首返状态 i 的概率和在时刻首返状态 j 的概率 

现在证明 


(37) 


n 


(n) _ 


E 4； 




⑼— 


，其中 


(38) 


Pij 


Pjj 


Pjj 


fc=l 


此式的直观意义很 明显： 为经 n 步由状态 i 到达状态 i 需要经 k ( l ^ k ^ n ) 
步首达状态 i , 然后经 n - A : 步由 j 返回乂现在给出 （38) 式的严格证明. 

设 j 固定且 


Tj = min{l ( k $ n : h = j }, 

若 {.} = 0,则设 rj ^ n + l 那么治 


) _ 


P(tj = k \^ 0 = z ), 而 


n 


Pij^ ~ P(€n = j| 4 o = i) = — ji r j — = i) 


fe^=l 


n 


E p (^ 


j，Tj = = i ), 


(39) 


— k 




k=l 


其中最后一个等式成立，因为在集合{巧= fc } 上 ^ Tj + n^k - ^ 而且，对于任意 
l < k ^ n y 集合 { 5 - = k } = {rj = k , i T3 = j } 因此，如果 P {& = i ，7> = fc } > 0,则由 
定理 2, 有 


P(<^+n_fc =Mo = hTj = k) = P(Cr j+n -k =Mo=hTj = k, ^ Tj = j) 

= P (^ 


( n — k ) 


= j ) 




為|_ 


+n — fc 




而根据 （37) 式，有 

p ^ = Epfe 


n 


j|^o = hrj = k)P(Tj = k\^ 0 = i) = 




+ n—fc 


k=l 


k=^l 


于是,关系 （38) 式得证 
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8. 练习题 

1. 设(心,…，匕）是马尔可夫链 ，叉 是其值域,/ = /⑻，工 ex 是某一函数 • 
问序列（/(心)，…，/(匕)）是不是马尔可夫链？序列… ，&) 是不是“后向” 
马尔可夫链？ 

2. 设 P = ( Pij ) , 1 是随机矩阵，而 A 是其特征值，即特征方程 det(lP — 
^) = 0 的根,证明 Ai = 1是特征值,而一切其他特征值 A 2 , - .- , A r 的绝对值都不 
大于 1. 如果所有特征值 Ai ，…， A r 两两不同，则 

Pij ^ — + 叫⑵入专 + … + 


有如下表示式 


其中〜，％(2), 

马尔可夫链的性质,可见当 | A 2 | < 1，…， | A r | < 1时,对于每一个 j ， 存在不依赖于 t 
的极限 lim ^ p ) 

3. 设 C = (6)， …， Cn ) 是齐次马尔可夫链， X 是其状态集， ( Pij ) 是转移概率矩阵, 


，叫 ㈧ 可以通过矩阵 P 的元素表示.（特别，用这一代数方法分析 


记 


T^(x) = E[p ⑹ = a;] = ， 


V 


假设非负函数^ = ( p ( x ) 满足方程 


Tip(x) = (p(x), x ^ X 


诬明随机变量序列 


C =(心,逆1)，其中 Ca ： = 


是鞅 


4.设€ = (《 n ， n ， p ) 和€ = (《 n ， n ， p ) 是两个马尔可夫链，具有不同的初始分 

布，相应为 n = ，办）和 n = ( pi , ••-,化)•设 n ( n ) = ( p ^ ，•-- , pj * n )) 和 

行⑻ = ( M n ) ，… ，矿 ))，证明 




5- 设 P 和 Q 为随机矩阵.证明 PQ 和 aP + (1 - a ) Q ， O ^ a^l 也是随机矩阵. 

6- 考虑齐次马尔可夫链（心，…‘)， X = {0,1} 是其状态集，其转移概率矩阵 


为 


\ — p p 

1 -Q 

其中 0< p < l ，0< g < l . 设& = & +… + Cn ， 作为 （§6) 棣莫弗-拉普拉斯定理 


Q 
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的推广，证明 


P 


S n - n 

P + q 

' ，啊 (2 - p - q ) 

V (P + 9) 




P 


彡 X 


n —^ oo 


3 


说明，当 p + q —l 时，随机变量&，…独立，而上述命题归结为 


S n -pn 

^/npq 


$( x )， 


P 


彡 X 


n oo 
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1有无限种结局试验的概率模型.柯尔莫戈洛夫公理化体系 (133) 

1. 代数和有限-可加测度 (133) 

2. 概率模型 (134) 

3. 柯尔莫戈洛夫公理化体系 (138) 

4. 练习题 (139) 


代数和 a - 代数.可测空间 (141) 


1. 代数和 a - 代数 (141) 

2 . 可测空间 ( R , J ?( R )) (148) 

3 . 可测空间 ( R n ^( R n )) (150) 

4. 可测空间 ( R °°, J ?( R °°)) (152) 

5. 可测空间 ( R t ,. M ( R t )) (153) 

6. 可测空间 （ C ， J ?((7)) (155) 

7. 可测空间（/?，.务⑺)） (156) 

8. 可测空间 ( i56 ) 

9. 练习题 (157) 


teT 


在可测空间上建立概率测度的方法 (158) 

L 可测空间 （ R ， 方 ( R )) (158) 

2. 勒贝格测度在数轴上的开拓 (165) 

3. 可测空间 （ R n ，戈 ( R n )) (166) 
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4. 可测空间（肢 00 ，，^^ 00 )) (169) 

5. 可测空间 （ R t ，方 ( R t )) (173) 

6. 练习题 (175) 


随机变量 I (178) 

1. 随机变量及其概率分布和分布函数 (178) 

2. 函数< = 为萝— 可测的充分和必要条件 （179) 

3. 广义随机变量 (180) 

4. 随机变量序列之和、差、积、商的极限 (181) 

5. 随机变量的函数 (182) 

6. 阶梯随机变量 (183) 

7. 练习题 (184) 


随机元 (184) 

1. 随机函数、向量和随机过程 (184) 
2 _随机元的独立性（ I 87 ) 

3. 练习题 (188) 


勒贝格 积分.数学期望 (189) 

1. 引言与记号 (189) 

2. 数学期望的定义 (189) 

3. 随机变量 < 的数学期望 Ef 的性质 (192) 

4 . 数学期望的极限定理 (194) 

致可积的准则 (198) 

6. 独立随机变量之积的数学期望 (199) 

7. 与数学期望有关的不等式 (200) 

8. 拉东-尼科迪姆定理 (203) 

9. 勒贝格积分中的变量替换 (205) 

10. 傅比尼定理 (207) 

11. 勒贝格积分和黎曼积分的各种定义及其关系 (212) 

12. 勒贝格-斯蒂尔切斯积分的分部积分法 (217) 

13. 有界变差函数 (219) 

14. 练习题 (220) 


5 . 


关于代数的条件概率和条件数学期望 (225) 

1. 条件数学期望和条件概率一般定义的必要性 (225) 

2. 条件数学期望和条件概率的一般定义 (226) 

3. 关于分割和关于 a - 代数的条件数学期望的关系 (227) 


7 
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4. 条件数学期望的性质 (228) 

5. 条件数学期望 E ( f | 罗〃） 的结构 (233) 

6. 计算条件概率和条件数学期望的例 (234) 

7. 条件概率的正则性 (237) 

8. 贝叶斯定理的推广 (241) 

9. 条件数学期望的换算公式 (244) 

10. 充分统计量和因子分解定理 (246) 

11. 无偏估计量，拉奥-布莱克韦尔定理 (251) 

12. 练习题 (251) 


随机变量 H (254) 

1- 方差，协方差和相关系数 (254) 

2. 最优估计量 (256) 

3. 随机变童的函数的分布 (258) 

4. 随机变量多元函数的分布 (260) 

5. 练习题 (263) 


建立具有给定有限维分布的过程 (266) 

1. 具有给定分布函数的随机变量存在性 (266) 

2. 具有给定有限维分布的随机过程的存在性 (267) 

3. 测度的开拓和随机序列的存在性 (269) 

4. 更新过程 (272) 

5. 练习题 (273) 


§10随机变量序列收敛的各种形式 (274) 

1. 收敛性的基本类型 (274) 

2. 基本随机变量序列的概念 (275) 

3. 随机变量序列的依概率 1 收敛 (275) 

4. 各种收敛性的蕴涵关系 (278) 

5. 柯西收敛准则 (280) 

6. 练习题 (283) 


§11具有有限二阶矩的随机变量的希尔伯特空间 (286) 

1. 随机变量的希尔伯特空间 (286) 

2. 正交随机变量系 (287) 

3. 最优线性估计量 (287) 

4 . 线性无关性 (288) 

5. 正交基底和正交化 (291) 
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6. 最优线性估计 (296) 

7. 练习题 (297) 


§12特征函数 (298) 

1. 复数值随机变量 (298) 

2. 特征函数的定义 (299) 

3. 特征函数的性质 (301) 

4. 特征函数唯一决定分布函数 (305) 

5. 逆转公式 (306) 

6. 特征函数的必要条件 (309) 

7. 某些特殊分布的特征函数 (310) 

8. 随机变量的半不变量和矩的联系 (312) 

9. 矩问题的唯一性 (316) 

10. 埃森不等式 (319) 

11. 常见分布的特征函数表 (319) 

12_ 练习题 (320) 


§13 高斯系 (322) 

1. 髙斯系的特点和重要性 (322) 

2. 髙斯系的定义 (323) 

3. 髙斯系的均值向量和协方差矩阵 (325) 

4. 高斯向量的性质 (326) 

5. 髙斯向量的线性流形的封闭性 (329) 

6. 一般高斯系及其性质 (329) 

7. 髙斯随机序列和髙斯过程 (330) 

8. 布朗运动的一个简单例子 (332) 

9_ 练习题 (332) 
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像几何学和代数学一样，概率论作为教学学科，可以并且应该完全公理化 • 这意 
味着，在给出研究对象及其关系之后，还应给出这些关系应服从的公理,在此之后全 

部的叙述应仅仅以这些公理为基础，而不依赖于这些对象及其关系的一般的具体值. 


A . H . 柯尔莫戈洛夫，《概率论的基本概念》 [32] 


§1. 有无限种结局试验的概率模型.柯尔莫戈洛夫公理化体系 


1. 代数和有限-可加测度上一章介绍的模型，提供了具有有限种结局的试 

验的概率-统计描述.例如，“三对象 

(A J ， P )， 其中 Q = { u ; 

= {A : A C fi}, P({cj}) = p Sai (l — p) n_Eai (= p(oj ))， 


5? 


(® i ， _ • * ， a n )，= 0, 1}， 


: U ) 




是 n 次“独立”地掷硬币模型,其中“正面”出现的概率为在此模型中， 一 切结局 

的个数 N (( l ), 即集合中点的个数是有限的,并且等于 2". 

现在的问题是，建立无限次“独立地”掷硬币模型，其中每次掷“正面”出现的 


概率为 


P 


作为结局的全体，自然取集合 


Q = {co 

即一切序列0/ = ( fll ， a 2 ，…）的空间，集合0；的元素有0和1两个可能值. 

问集合0的势（基数） N ( Q ) 如何？熟知，任意实数 a e [0,1) 可以唯一地分解为 
(可能含无限个0的）二进制小数. • 


(ai, a2 , …）， a = 0,1 }， 


: UJ 




* + 一 + …⑷= 0, 1). 

由此可见，在 a ; 的集合 D 与 a 的集合 [0,1) 之间存在 一一 对应关系，说明集合的 

势等于 连续统 的势. 

于是，如果希望建立描绘“ 无限次 ‘独立地’掷硬币类型”的试验的概率模型，则 

不得不考虑相当复杂来源的空间 a 

我们现在尝试弄清楚，如何在“无限次‘独立地’掷（对称 [p = g = 1/2] 的）硬 
币”的模型中，合理地确定（赋予）概率. 

. 由于作为 n 可以取集合 [0,1), 所以把上面提出的问题，可以视为“在集合 [0,1) 
上随机选点”的模型中求概率的问题.由于直观的对称性，可以认为一切结局都是 


a = 
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等可能的”.由于集合 [0,1) 是不可数的，假如考虑到点属于集合 [0,1) 的概率应该 
等于1,则每个^的概率必为 o . 但是如此定义概率 ( p ( uj ) = o,ue [ o , i )) 没有什么 
意义.然而，我们通常关心的并不是个别结局出现的概率，而是试验结局属于某个给 
定集合（事件 ） 4的概率.在初等概率论中，根据 “ 权重” p(lj) 即可求事件4的 概率: 

p(4 = 


a 


对于现在考虑的情况,例如，当 = [0，1)时，我们无法求“自 [0,1) 上随机 

选的点”属于集合 [0,1/2) 的概率.然而，直观上很明显这一概率应该等于 1/2. 

这种情况提示我们，当空间 Q 不可数时，不应求个别结局的概率，而应求 Q 中 

某些集合的概率.第一章的论证说明，在其上确定概率的集合的全体，关于并、交与 
补应该是封闭的.鉴于这种情况，我们引进如下定义. 

定义1 设是点 a ; 的某一集合 . Q 的子集系 j 称做代数,如果 

a ) Q € 減 

b ) A,B ^ A(JB 

c ) A e e 

注意，在条件 b ) 中，只需要求 A\JB e J 或 Af]B 之一成立，因为 


A[jB = Af]B Af]B = A\JB 


为表述概率模型的概念，需要下面的概念 . 

定义 


设 J 是 Q 的于集的代数，在 [0, oo ] 上取值的集函数// = ^( A )^ G 
称做定义在^上的有限-可加測度,如果 j 中的任意两个不相交集合4和 


B , 有 


"(乂 + B) = (jl(A) + fi(B) 

_ 

具有 //( H ) < oo 的有限-可加测度 M = fi ( A ) 称做有限的，而当 / i ⑴ ） =1时， 

称做有限-可加概率測度或有限-可加概率. 

概率模型现在给出试验的概率模型，假设其（广义）结局（现象）属于集合 


( 1 ) 


_ 


Q. 


定义3 三对象 


⑴， J ， P )， 


的总体,其中 

a ) 是点 o ; 的集合， 

b ) •^是0的子集的代数， 

c ) P 是^上的有限-可加概率， 

称做概率模型、广义（试验的）概率“理论 
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不过，事实表明，为建立有成效的数学理论，这一概率模型显得过于广泛，因此, 
不但对所考虑的 n 的子集类，而且对容许的概率测度类,不得不加以限制. 

定义4集合 S 7 的子集系^称做 a - 代数,如果，是代数,而且满足下列性 

质（定义1之性质 b ) 的加 强)： 

b *) 如果 G f，n = 1，2，-..，贝 IJ 


[JA n G ^, f]A n G ^ 


(这时,只需要求二式之一成立 

定义5 空间 fl 连同其子集的 a - 代数称做可测空间，记作 ( Q ^). 

定义6定义在集合 fl 的子集的代数 j 上的有限-可加测度称做 完全可 

加或 a - 可加测度，亦简称测度,如果对于两两不相交的集合 牵， 4 2 ,…4且 


A n 6 


有 


= E " ⑷ 

n=l / n=l 

测度/ X 称做 (7 - 有限的， 如果空间 D 可以表示为 




si = y : Q n , n n 6 


且 //(Q n ) < oo, n = 1,2, • •.. 

代数 j 上的測度(注意，指 a - 可加测度) P , 如果满足条件 p ( n ) = 1,则 P 称 
做（定义在代数^的集合上的）概率測度或简称概率， 

现在指出概率测度的某些性质. 

1°若0是空集，则 


P (0) = 0 


2 。若 m 


P(A UB)= P(A) + P ⑻一 P(AnB) 


3。 若 A B e J 且 B g A , 贝 lj 


P(B) K P ⑷ 


4。若 J，n = l ,2, …，且 LUnGJ ， 则 


P(^4i U U …）彡 P(A X ) + P(^ 2 ) + 


# * « 


邋 
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前三条性质显然.为证明性质4,只需注意到，对于 n > 2,有 


71 — 1 


[J Bn ， 召 1 = 凫 1 ， B n = I j fl ^4 n ， 门 — 


0 ， 


k=l 


因而 


U 乂 n 

1=1 


E 5 -] = E p (^)< E p (^) - 

n=l / n==l n^l 

下面的定理证明，集合的有限-可加函数，同时也是 a - 可加的，该定理有许 


P 


=P 


多应用 


定理设 P 是定义在代数^ 上的， a — 可加集合函数，且 P ( Q ) = L 那么，如 
下4个条件等价： 

1) P 为 

2) P 上连续，即对于任意集合山，也,… eJ ， 若 


可加 （ P 是概率); 


<7 — 


U G J ， 


— 乂 n+ 1， 


U ) ; 


limP04 n ) = P 


3) P 下连续，即对于任意集合山 ，也 ，…若 




^ 乂 n+1 ， 


n 人 I ; 


limP(A n ) =P 


4 ) P 在 “0” 连续，即对于任意集合乂!，乂 2 ,… e j ，若 




A 


n+l ^ 


hmP(A n ) — 0 


证明 1)^2), 由于 


[J A n = Ar ^ (A 2 \Ar) ^ (A s \A 2 ) 
1—1 
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则 


oo 


U ^ n ) = P (> li ) + P ( A 2 \ A 1 )^ P ( A 3 ^4 2 ) + … 

= P (4 i ) + P ( A 2 ) - P(^o + P (^ 3 ) - P ( A 2 ) + 

- liraP(^n)- 


p 


n 


2) 泠 3 ). 设 1 ，贝 iJ 


P ( A n ) = P ^ ACAx ^)) = P 040 — r ( A x \ A n ) 

集合序列 { A ^ An )^ 是非降的（见 §1 表 1), 而 

CO oo 

[j ( A 1 \ A n ) ^ Ar \ f ] A n . 

n=X n=l 


那么，由 2) 可见 


OO 


U ( M 4) ， 


limP(Ai\yl n ) = P 


n 


n=l 


因此 


limP(^ n ) = P ( 山）一 limP ( 乂从 ) 


n 


n 


n 


P ⑷ -P U ( 糸 VW 卜 PA)- 中 AfV 

\n=l / V n—l 
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n 


n 


rv 


n An 


p ( 土） 一 p ⑷） +p 


= p 




n 


n=l 


n=^l 


3) =^4). 显然， 

4) =^1). 设两两不相交的集合 牵，七 ，… G 』，且则 


n 


oo 


^ Z Ai 




E 牵， 


p 


=p 


+p 


i=l 


i^n+l 


而由于 


^2 A i i 0 ^ n 


― > 00, 


z=n+l 


因此， 


oo 


n 


n 


X ； P(^) = lim^ ； P(^) 

t=l i=l 




limP 




t 


n 


oo 


^2 At 

i=l 


E ^ 


=lim P 


— P 


n 


i—n+1 


oo 


oo 


^2 A i 

i=l 




^2 A i 


= P 


—limP 


=P 


□ 


n 


i=n+l 
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3. 柯尔莫戈洛夫公理化体系设 Q 是试验 E 的结局（现象）的集合.现在可以 

表述柯尔莫戈洛夫公理化体系，该公理化体系已经被普遍地接受,并且是建立试验 E 
的概率模型的基础. 

基本定义考虑三个对象的全体 


⑴，， P )， 


其中 


a ) n 是点 CJ 的集合， 

b ) f 是子集的-代数， 

c ) P 是 f 上的概率， 

称⑴，， ， P ) 为（试验的）概率模型或概率空间 • 这时，结局的空间 D 称为基本事件 

空间，，中的集合4称做事件，而 P ( A ) 称做事件 A 的概率. 

由这一定义可见,概率的公理本质上依赖于集合论与测度论的工具.因此,下面 
的表 2-1 很重要，该表将集合论与概率论相应的概念进行对照和比较.在下面的两 
节将陆续给出概率论中最重要的可测空间的例子，以及其中确定概率方法的例子. 




记号 


集合论 


率论 


兀累，点 


结局，基本事件 

结局的空间，基本事件 空间； 必然事件 
事件的 a- 代数 

事件（若 w e 态 则称事件 A 出现了) 


点集 


n 




子集的 a - 代数 


a e ^ 

A = Q\A 


点集 


集合4的 补集： 不属于4的点 . 
的集合 

集合4与 S 的并； 属于>1或 s 
的点的集合 

集合 Z 与 B 的交： 同属于4和 
的点 u; 的集合 


事件“事件4不出现 


AUB 


事件“事件 A 或 S 至少一个出现 


B 


>1 n B 或 AB 


事件“事件 A 或 B 同时 出现” 

不可能事件 

事件4与 B 不相容（不能同时出现) 
事件“出现了二不相容事件之一，， 


空集 


0 


集合4与 S 不相交 

集合4与 S 之和： 即不相交集合>1 
与 S 的并 

集合/与 S 之差：属于4不属于 
B 的点 u； 的集合 

集合的对 称差： 集合（4\£0 U ( B \ A ) | 事件 “ 4或 B 仅出现一个” 
集合，… 的并： 至少属于 

之一的点 a; 的集合 


A . D B = 0 


A + B 


A\B 


事件 M 出现但 S 不出现 


AAB 


事件 “山， ，…的并，”：事件 
4 2 ,….至少出现一个，， 

-* 的和：两两不交集 | 事件“两两不相容事件中至 

少出现 一个” 

集合 山， 乂 2 ,… 的交： 同属于山， | 事件“山，々，…的交” ：事件 

^2, - - - 同时出现” 


LM 

l=i 


集合 

么 vt 


rt= 1 


Al ? A2y ^ * * 的并 




A u 


42, •…的点 O； 的集合 


递增集合序列 { A n } 收敛于集合 Z : 


T 4或 

A = lim I A n 


递增事件序列 A 2 ，.._ 收敛于事件 4 


，， A = U A 


^1 ^ -^2 £ ^ . 
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续表 


递减集合序列 { A n } 收敛于集合4 : 


递减事件序列 4 b 4 2 , ... 收敛于事件 A 


= n 

rx = 1 


A = lim I A 


3 ^2 2 …， a 


A 


Hm ^4 n 或 lim sup >1 


在事件序列4^/2, ■•. 中出现无限多次 
的 W 的集合 

事件“在 AxM 2 , * . 中出现无限多个事 
件，其中仅有限个事件可能除外” 


集合4 =「| u a 


或{无限多个 An } 


limA ^ 或 lim inf A Tl 集合 >1 = U 厂1 


n = 1 k = n 


注在建立用于描绘“现象与条件”的概率联系的试验模型时，应（根据第一章 § i 的注释）事先说明，是 
在何条件组合下”考虑有关试验的.通常我们并不作这种说明，不过每次都应当清楚,这些“ 条件” 是什么. 


4 . 练习题 


1•设17 = {r : r G [0,1]} 是区间 [0,1] 上有理点的集合， j 是集合 代数： 其中每 
—个都是有限个形如 {r : a < r < b }, {r : a ^ r < b} y {r : a < r ^ b }, {r : a ^ r ^ bj 

证明， P ⑷， A e 是有限-可加的集函 


的不相交集合 A 之并，而 P (^) = b 


— d * 


数，但不是 C 7- 可加的集函数. 


2.设 n 是可数集合 ，而义 是一切子集的全体.设 fi ( A ) = 0,如果4有限，而 
/ i ⑷= 00,如果4无限,证明集函数 M 有限-可加,但非 (7- 可加. 

1，2, _ • •，而 


3•设//是 a - 代数义 上的有限测度，人 e F , 


n = 


A = lim (即 乂 limA n = limA 


证明， "( A ) = lim "( A n ) 


4. 证明， P ( AAB ) - P (4) + P (5) - 2 P ( Afl ^)- (对照第一章 §1 练习题 4.) 


5. 设 


Pl ( A , B ) = P ( AAB ), 

P{A A B ) 


，若 P (^ U 5) #0， 

若 P ( AUB ) 

证明， Pl ( AB )$} p 2 ( AB ) 可以作为“距离”，即满足“三角形不等式 

6.设 P 是代数 J 上的有限-可加测度，禹,乂2 ,… e j 是两两不相交集合， 


P 2( A , B ) 


0, 


0 








证明 
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7.证明 


lim sup A n = lim inf A n ^ lim inf A n = lim sup A n , 
liminf A n C lim sup A n , lim sup ( A n U B n ) = lim sup A n U lim sup B n , 

lim inf (A n C\ B n ) = liminf A n n lim inf B ny 
lim sup A n H liminf B n C lim sup ( A n n B n ) C limsup D lim sup B n 


如果人 M 或人丄 A 贝?1 


lim inf A n = lim sup A 


8 . 设 {0：4是 一数列，而= (- oc , x n ). 证明， = lim sup 与 = lim sup A n 
有如下联系： (-oo,x) c AC (-oo,x). 换句话说 , A 等于 （ -oo,x) 或 (- 00 , 0 ：]. 

9. 举例说明，对于取 + oo 为值的测度，由完全可加性，一般推不出在“零’’ 0的 


连续性 


10. 证 明布尔 （ G . Boole ) 不等式： P (^ n ^) > 1 —P (又） — P (否) • 

11. 设 Ai ,... , A n 是，中的事件.称这一事件组为可重置的或可交换的 （ ex ¬ 
changeable 或 interchangeable ), 如果对于一^切 l ^ k ^ n 和任意下标1< h < 

4彡 n ， 概率 P ( A iir - , A ik ) 等于同一个值 (= p k ). 对这样的事件,证明下面的公式 


< 


• # P 


I = n Pi— C lP2 + C lP3 


+ (-m 


p 


» • «- 




12 •设是无限可重置事件序列，即对于一切 n > 1和任意下标1 ^ 

< in , 概率 P (^!，• - - , A in ) 等于同一个值 （= Pn ). 证明 

oo \ 

) = lim 

LI J ^°° 


< 




■ 


學 


P lim .4^ = P 


Vj 、 


(^ A n) = P ( IJ 


P 


lim (—1 尸 △ 々()）， 


1 — 




k=^l 


其中 Po = l , A 1 ( p n )= 

13 .设 ( A n ) n>1 是一集合序列， I ( A n ) 是集合 A ny n^l 的示性函数.证明 


Pn^ j (Pn) = A 1 (△卜 D)，j > 2 


Pn +1 — 


I MmA 


=lim/(^ n ),7 (lim^4 n ) = limI ( A n ), 


U j ^ i ( 乂 n) 

i=l / n=l 


14. 证明 


LM 

1=1 


I { A n ) j \ f ] A n 

\n=l 


= z n x I{An) 


=max 

n^l 


代数和 <7- 代数.可测空间. 
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15,证明 


P [\ imA n ) ^ limP (4 n )，P lim > l n ^ HmP ( A n ) 


16. 设欠 * = Mi n A n 和 = lim n ^ n , 证明 P(4 n — 乂 *) — 0, P(4* - A n ) — 0 

17. 在上一题的记号下，记义= A * = A *, 证明，若义 


A y 则 P 04 △人 ） —a 

18. 设集合 A 在 P(A A A ^) = P(A △疋 ）= 0 意义下收敛于集合/，证明 


P (4 △ A n ) — 0- 


19. 证明，集合>1与 S 的对称差 AAB , 具有下面的性质 


I(A AB ) = 1 ( A ) + /( J 5)( mod 2) 


(由此可以导出 V(A AB ) = P ( A ) + ' P ( B )- 2 ¥( Af ] B ); 见练习题 4,) 证明，对 


称差的下列性质 


{ AAB)AC = AA ( BAC ),( AAB ) A ( BAC )= AAC , 

AAB = C<^A = BAC . 


§2. 代数和 a - 代数.可测空间. 


代数和 a - 代数在建立（试验的）概率空间时，代数和 a -代数是组成元 
素.关于代数和 a - 代数，将举一些例子并介绍一系列性质. 

设 Q 是一基本事件空间.集合系 


争 


- { 0 , 9 ],^ = { A : ACQ } 


显然是代数，同时也是〃-代数.这时，多；是平凡的、 

是由 n 的一切子集构成的、最“广泛”的代数 
对于有限空间 A a - 代数少^非常直观， 一 般这正是在初等概率论里所考虑的 

“事件”系.对于不可数空间 S 7 ,集系显得过于广泛，致使在这样的集系上不是 
总能“合适地”定义概率. 

如果 acq ^ 则集系 


贫乏”的 CT - 代数，而 


^ A = {^ 4 ,^ 0 ,^} 

也是代数 （ a - 代数）的例，并称做由集合4诱导的或由集合 A 生成的代数 （a -代 


数) 


这一集系是由分割生成的集系的特殊情形.确切地说，设 


^ — { Di ， Z )2, … } 


是某一把 Q 分为非空集合的有限分割 


Q = £>1 + £>2 + 


， Di C \ Dj = 0 ，i _ j * 


4 * 


■ 
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那么，由分割的有限或可数个元素之并形成的集系^ = a (^), (连同空集）是代数 
( CF ~ 代数). 

下面的引理有重要意义，因为它证明“建立含给定集系的最小代数 （ a - 代数)” 

原则上是可能的. 

引理1 设 r 是0中的一个集系. 那么， 存在含$中所有集合的最小代数 
a (^) 和最 d 

证明 D 中一切子集的集系是 a - 代数.因此,至少存在一个包含寥的代 
数和一个包含寥的 a - 代数.现在，由属于包含的貧的任意代数 （ cr - 代数）的一切 

集合，组成集系 a ( ST )( a (^)). 不难验证,代数 a (^) ( a ~ 代数 a (^)) 就是引理所要求 
的最小代数 （ a -代数). 

注1 常把集系 a (^) (相应的 a (^)) 称做由集系茗诱导的（生成的）最小代数 
(相应的最小 a - 代数). 

前面已经指出 （§1 第3小节 )， a - 代数在概率空间的定义中占重要地位.因此， 
希望得到构造由某一代数^生成的代数的构造方法（引理1仅给出了这样 
代数的存在性,但没有提供其有效的构造方法). 

下面是可以想到的且很自然的，由 W 构造 a - 代数 a (^) 的方法之 一. 

设爹是^的一个子集系.设旁是 D 的一个子集系，包含茗中的 j 刀子集及 
其补集，以及篆中集合的有限或可数个集合的并.令 = 

显然对于每个 n , 集合属于而且似乎可以指望,对于某个 n 有 
= 0 -(^), 或者至少 U-^n = CT (^). 

然而，事情一般并非如此.事实上,取 Q = (0, 1]，而作为代数义,考虑由空集 
以及形如 ( a ,6] 的区间之有限和诱导的 D 的子集系，其中 a ，6 是有理数.不难证明， 
这时集系 UZi ^ n 严格小于 a - 代数 a (^). 

我们以后主要关心的，不是如何由代数 j 构造最小 cr ~ 代数 cr (^) 的问题，而 
是确定 给定的 不同集 系是否 CT- 代数 a (^) 的问题. 

为得到上述问题的答案，要用到如下重要的概念——“单调类”. 

定义1 n 的子集系称做单调类，如果由 A n 

_ 

MA n [ A , 可得 


代数 O ‘ 


a 一 


為， 


» • • 


去 


0 


y T 乂 


，n = 1 ， 2, 


» 擎 » 


设^是某一集系•记为包含寥的最小单调类 • （仿照引理1的证明，同样 
可以证明最小单调类存在性 .） 

引理2 代数 J 同时又是最小 a - 代数的充分必要条件是， J 是最小 


单调类 


证明每一个 a - 代数显然是单调类.现在设^是单调类，而 

1，2,…显然， 


= \^J Ai e ^ K B n C B n + i,n — 1,2, 


* • « 


代数和 tr- 代数.可测空间, 
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畢 


从而根据单调类的定义， 


B n ][\ Aie ^4. 

i=l 


类似可得 j 




代数”与“单调类”两概念之间联系的定 


我们利用该引理证明，说明如下 


a 


<7 — 


理. 


定理1 设^是代数，则 


"(』）= a(^S) 


( 1 ) 


证明由引理 2 ,知 Q a(^). 因此，只需证明〆〆）是 a- 代数.但是， 
由于^ = //M) 是单调类,故仍由引理 2 知，只需证明 m(^) 是代数. 

对于任意证明 lei. 为此运用如下以后常用的“适当集合原理' 


以 


^ = {B ： B 


表示“ 使是代数 ”所有集合的全体，显然 J g ^ g I. 现在证明^是单 


调类 


设凡 e 则凡 g ^S,B n 因此 


lim f 5 n e lira | B n £ lim I B n E lim j B n G 


从而 


lim ] B n = lim i B n e J， lim i B n — lim ] B n e 爲、 
lim ] B n = lim 丄 B n e J， lim 丄否 n = lim B n e 


即 i 是单调类.由于 ^ d, 可见 i 是最小单调类.所以』=成并且如果 

= /i ⑷，则 A€^, 即类 J 关于补的运算封闭 . 

现在证明，类 ^ 关于交的运算也封闭 . 

设 4 6 且 


jM 


{B ： B e 篇 ，乂 n B g ^S} 


由等式 


lim ! (乂 H B n ) = Af) lim j B ni l\m | (^4 D B n ) = An lim | B ny 


可见 M a 是单调类 

其次，容易验证 


(A e ^M b ) ^ (B e ^ A ) 


( 2 ) 
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现在设则由于^是代数,可见对于任意 B e 义,集合 XnB e 因 


c ^M a c 1 

由于是单调类，而^是最小单调类，可见对于任意 Ae 』，為二 I 由 
(2) 式可见，对于乂 € S G i ， 有 


i^A. G b) ^ G = v/^^) 


从而,如果乂 e J ， 则对于任意 Be 成有 


A e 


因为 A e j 是任意的,所以由此得 




因此，对于任意 B 6成 




即对于任意 W CC \ Be ^. 

从而，^关于补和交（从而关于并）的运算是封闭类，即^ 是代数 

于是定理得证 

由对以上所作证明的分析,可见在考虑按 “适当集合原理” 形成的集系时,这些 
集系关于某些理论上的集合运算 的封闭 性是重要的. 

从这种观点出发，在整个有关“单 调类” 的问题中，引进所谓 “7 T - 系”和 “ A - 
系”的概念是有益的.其实，在证明定理1时已经用到这些概念.这些概念,还可以 

用来证明涉及所研究问题的一系列命题（例如,定理 2), 而且往往比直接验证有关集 
系是 “单调类” 更加方便. 

定义2 (“7 T —久_系”）设 D 是某个空间.空间 D 子集的集系沪，称做 
系，如果它关于有限次的交运算 封闭： 若禹，…，4 €少，则门= =1 A k e ^, n ^ l . 

空间 D 子集的集系又，称做 A - 系，如果 

( A a )fi G ^, 

( X b )( A,B € 又且4 G S ) 今 ( B\A e 又), 

( A c )( A n e ^,n ^ 1, R A n 1 A ) (A e ^). 

同时是 7 T - 系和 A - 系 的空间中的子集的集系贫，称做邓肯 ( E . B . ilMHKHH ) 
— A 一 系—系_ 

注2 指出如下事实是有 益的: A - 系的定义中的条件 （ A a )，（ A & ) 和 ( A c ), 等价 
于条件 （ A a ), 以）和«)，其中 


n 


7T — 


丌 
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( A ;) 若 则 幺， 

(%) 若 G n ^ l,A n f)A m - 0(m / n), 则 f]A n € ^ . 

还应指出，显然任何代数都是 7 T -系. 

设寥是某一集系，则以 7 T ⑹), A ⑹和 d (^) 分别表示包含罗的 7 T - 系， A - 系 


和 d — 系. 


A - 系的作用.为说明该定理的含义，我们指出，每一 
-代数都是 A - 系.然而，逆命题一般不成立.例如，若 Q = {1，2,3,4},则集系 


由下面的定理，可见 


7T — 


a 


^ = {0,^, (1,2), (1,3), (1,4), (2,3), (2,4), (3,4)} 


是 A - 系,但不是 a - 代数. 

不过,若再补充要求 A - 系同时又是 7 T - 系，则所得 tt - A - 系就是 a - 代数 
定理 2 (关于 7 T _ A —系） a ) 任何 

b ) 设 $ 是集合的 7 T - 系，则 A (^) = d (^) = g {&). 

C ) 设豕是集合的 7 T - 系，而分是某一 A - 系且 f g 又，则 a {^) C 

证明 a ) (由于 ( A a )) 系篆包含仏且（由于 ( AJ ,)) 关于求补及有限次交封闭（根 
据 （ AU 及关于箩是 7 T - 系的假设)，而根据假设豕是 7 T - 系.因此，（根据§1的定义 
1) 集系箩是代数，为证明集系$也是 a - 代数，（根据§1的定义 4) 需要证 明：如 
果集合 B u B 2 , … e 则其并 LU 凡也属于 I 

Ai = Bi , A n — B n _Ai 门 ...A 
nB „ = nAn ， 则 

于是 ， TT - A - 系是 a - 代数. 

b ) 考虑 A - 系 A ⑸)和 a - 代数 a (^). 如前面已经指出，任何 a - 代数都是； V - 

系. 那么，由于 <7( 爹 ） 2雾，则 o { W ) = D A (^). 因此， \(^) C o {&). 

假如现在能证明， A - 系 A (篆）也是 TT - 系,那么由命题 a )， 可见 A (爹）是包含 爸 

的 a - 代数.由于 a ⑹是包含爹的最小代数，故由已经证明的 A ⑹ g a {^\ 
可见 A (^) = ( T ^). 

因此，只需要证明入(裏）是 7 T - 系. 

仿照定理1的证明，并且利用“适当集合原理 


入—系雾都是 a - 代数 


丌— 


> 1,则根据 （ A [), HAne ^. 由于 


i,n 


n— 


?? 


设 


^! = {Be \{ W ) :对于一切 Ae ^ y Bf]Ae A (^)}. 

若 S G 篆，则 Bf \ Ae ^ (因为茗是 7 T — 系)，因而家 g 因为（按家 i 的定 
义）心是 A - 系，所以 A (^) C A (^) =^1. 另一方面，按茗 i 的定义，有包含关系 

寒 iQ 入 ⑹. 

从而篆1 = A (^). 

现在设 


& ， 2 = { B £ A (^) :对于一切4 e A (^), Bp |4 e A (^ T )} 
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同篆 i 一样 ，心 也是 A - 系. 

取集合 B 那么根据豕：的定义，对于 Ae^i = A (^), 有 5 f | 乂 e A (^). 

从而，根据 A 的定义,可见裏 g 爹 2 ,且 A(^)C mw 2 ) = ^2. 因此, 入逻)爲 ,所以 
A (^) = - r 2 , 故对于一切 A,BG A (^), 集合丑门乂 e A (篆)，即 A ⑹是 7 T - 系. 这样， 
A (^) 是 7 T - A -系（故 A (< T ) = d (^)), 如前面所指出的那样，由此可见 A (< T ) 二 ai^Y 

于是，命题 b ) 得证. 

c ) 由于篆[幺且幺是 A -系，可见 A (^) C A (又） =涊. 由 b ) 知 A (貧）= a ( r ). 

于是， 

注3定理2的结果可以直接由定理1得到（练习题 10). 

下面两个命题的证明，是 “适当集合原理” 和关于 




A - 系的定理2之很好的 


7 T 




演示 


引理3 设 P 和 Q 是可测空间上的两个概率 测度; $是^中集合的 
系，且测度 P 和 Q 在篆中的集合上相等.那么，这两个测度 P 和 Q 在 

代数 a (^) 上也相 


代 


7T — 


(X — 


数 < y {^) 上也相等_特别，若 J 是代数，则测度 P 和 Q 在 


(7 — 


等. 


证明 利用 “适当集合原理”， 作为这样的集合， 取 


^ ^{Ae a{^) : P(^) = Q(A)}. 

显然 D e 又； 如果义 e 幺，则由于 P(Z) = 1 - P^4) = 1 - Q0) = Q(A), 显然 

如果為，4 2 ,… g 又且两两不相交，则由测度 P 和 Q 的可数可加性 ，有 


l^J^n I — 工 ( 乂 n) — Q(^4n) — Q ( |^J^n 


P 


从而,性质 （ A a )，（ A [) 和 （ A :) 成立，因此又是 A - 系. 

根据引理的条件 《r g 又，故罗是 

cr (^) C ^ . 由 于适当 集合的定义，这一性质恰好表示测度 P 和 Q 在0■-代数 o {^) 
上相等 


系.那么，由定理2的命题 c ), 可见 


7T — 




引理 4 设是（关于測度 P ) 相互独立的事件代数 • 那么， 
代數 cr ^/^)，( j ( J 2 ), … , a (^4 n ) (关于測度 P ) 也相互 独立. 

p 

证明我们首先指出，在概率的一般理论中，集合以及集合系（代数， 

数，…）的独立性的定义，和初等概率论中独立性的定义完全一致（见第一章§3,定 

义 2 -5). 


cr— 


代 


o — 


设乂2,…， i 4 n 相应为乂2, 


中的集合，且 


A n )=P(A)]JP(A k ) 


^ \ = <Ae a{^4x) : P(A n A 2 n 


(3) 


n 


■ ■ 
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现在证明又 i 是 A - 系. 

显然 fie 又!，即性质 （ A a ) 成立，设，而乂 GB . 那么，由 


A n ) = P ⑷ H P(A k ) 


P(A nA 2 n 


n 


帚 * 4 


fc -2 


和 


)=p(s)r[p(4 )， 


P(B n ^2 n - - n ^ 


k =2 


因此由第二式减去第一式，得 


人）= p ( b \ a ) n p (^ t ) 


P((B\A) nA 2 n- 


n 


* 


fc =2 


因而条件 （ A & ) 成立. 最后，如果集合氏 e 1，且风了 S , 贝 〖 J 


n 欠 2 n • •. n T B 门 乂 2 门 


n 


» * ^ 


因此，因为概率 P 的上连续性（见 §1 的定理)，当 k 


时对 


—> OG 


A n ) =P(B k )l[P(A i ) 


P(B k nA 2 n 


■ n 


* m 


i =2 


求极限，得 


A n ) = P ( B k ) l [ p ( Ai ), 


P(B k nA 2 r\-^n 


i —2 


即条件（心）成立. 

因此，沒 i 是系，且2 根据定理2的命题 c ), 可得2 a (^ i ). 

于是，证明了集系 ap ^)， ，… ，為 相互独立. 

对于集系 cr (^ 2 ),^3,-- 进行类似的论证，可见集系 a (^ 2 ), 

… ,^ n , ( j (^ i ) 相互独立，或等价于集系 ^3) * * * ( Ti ) , a2 ) - 

继续这一过程，可得由 (7- 代数 M ^ n ) 构成的相互独立的 




3, 


集系 




注4 我们再次分析，为使集系形成 a - 代数，需要满足什么条件. 
为此，如果集系关于 可数次 交运算 


fV 


? A 2 7 … G 度=> 




封闭，则称之为 7 T *_ 系. 

那么，由 CT - 代数的定义可见，如果某一代数篆同时又是 7 T *- 系，则它就是 


(7 — 


代数 
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A -系”概念的处理方法略有不同.这里不是从“代数”的概念出发, 
而是从 “ A - 系”概念出发.并且,如由定理2的命题 a ) 可见,若此系同时又是 

系，则它也是代数. 

显然,这恰好是上两种处理方法的区别所在. 

当验证某集系是否 a - 代数时，我们从检验该集系是否代数开始，就是说，进行 

此检验只需考虑集合的有限和（或交).“可数性”（这正式“全部要做的”）出现在下 
列 情形： 需要检验一个集系是否 tt *- 系. 

对于 “A 


基于 


7T — 


7T 一 


方法”，验证性质“有关集系是代数”，我们首先从“确定该集 
系是否入-系”开始， A - 系的性质 （ A c ) 或 （ A [) 已经涉及“可数”运算.但是,在第二 
阶段当验证该集系是否 7 T - 系时,我们只进行集合的有限交或和的运算. 

在结束叙述有关“单调类”的有关结果时，我们给出其一种函数形式.（第八章 
§2定理1之引理的证明，可以作为引用的例子 

设裏是，中集合的 


7T — 




定理 


系，而货是实數值^ - 可测函數的全体， 


7T — 


具有下列性质： 

{ hi ) ^ A 则函数 h G 策； 

( h 2 ) 若策，则对于任何实数 c ，/ + / ie 深， c / e 采； 

( h 3 ) 若函数1,0彡心则 

那么，集系策包含一切关于 (7- 代数 (7( 五）可測的有界函數. 

证明设又= {4 Gh e 兔}.由 (/ li ), 可见皮 g 又，由于（/1 2 )和0 3 )， 

可见集系幺是 A - 系（练习题 11). 因此由定理2的命题 c ), 可见 (7(^) g 又.从 
而，由义 G ( T ⑹，可见€策.根据性质 (/ i 2 ), 由此可见，所有简单函数也属于集 
系龙.（所谓简单函数，即形如 I Ai ,Ai e a (^) 的函数的有限线性组合).最后，由性 

质知， 一 切关于 a - 代数可测的有界函数属于集系％ 

注5 设不，…，是可测空间 ( Q ^) 上的随机变量, J^ x = a ( X u -- , X n ), 
而/ = /&) 是 ， X _ 可测函数.那么，存在博雷尔函数 F 

/( u ;) = F ( A ( a ;)， …，心…)). 

为证明这一命题，只需利用定理 3. 在定理3中，作为“适当集合原理，’’中函数 
的适当集合，取非负博雷尔函数 F , x n ) 的集合深，而作为集合家，取 


□ 


), 使 


尸( XI ，. 


，x 




蜃 • 


^={u: X t (u;) < 

由定理 3 知，任意非负 3 T X - 可测的函数/ = /卜)，都可以通过非负博雷尔函数 
F = F ( xi , ■•- , x n ) 表示为 f ( uj ) - F ( X 1 ( u ;),--- , X n ( a ;)). —般（未必非负函数)，函 
数/通过极限过度可以表示为 f = — 

下面研究对于概率论最重要的各种可测空间 

可测空间 （ R , 方 ( R )) 设 ] R =： (- oo , oo ) 是实数轴，对于任意 


• ，< 无71 ; Ti € R，i = l ,*..， n } 


工1， 


oo ^ a < 6 < 






，设 


( 以， b] = G 1R : a < 工 ㈣ 
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假定把区间 （ a，ooj 理解为区间 （ a , oo ). (这样的假定之所以必要，为使区间 
(- oo , fe ] 的补集具有同样的形式，即左开而右闭 .：） 

以 j 表示集合 R 上> 有限个形如 ( a , 6] 的不相交区间之和构成的 集系： 


其中4 = Y ]( a i ^ ih n 


< oo 


不难验证，如果给 j 补充上空集0，则所得集系形成代数,但不是代数, 

为如果= (0, 1 — 1/ n ] € 但是 


U 人=(0，1)拿』 


设 ^( R ) 是包含集系^的最小 a - 代数 a ( ^).在数学分析中，这一 a - 代数 

有重要应用，称做数轴上集合的 博雷尔 代数，其中的元素称 做博雷尔集. 

若以义表示形如 ( a , b ] 的区间 J 的集系，而以 a (^) 表示包含义的最小 
代数,则不难验证 g {^) 是博雷尔代数.换句话说，由于 < j {^)= < r ( a {^)), 博 雷尔代 
， 可以不通过代数由集系叉得到. 


0" ~ " 


由于对于 a < b ， 


(a ， 6) = 


a , b - — ， ci ? 6]= 


-,b ， 


a — 


n 


/ 1 

W = n ( a ~ ， 

n=l \ - 


可见，博雷尔代数,除包含形如 （ a ，6] 的区间外，还包含单点集 { a }, 以及如下6种集 


合 


(a ， 6)U ， [a ， 6) ， (-oo,6), (- 00 , 6j ， (a ， - 00 ) 

还应指出，由 R 中的集系生成的一切最小 a - 代数,都由⑷式中同一种不相交区间 
之有限和构成，并且等于 ^( E ). 因此,构造博雷尔代数 及⑻, 可以不从形如 （ a ， 61 
的区间出发，而从上述6种区间.的任何一种出发. 

有时，不得不涉及 护展数 轴上屁= [- oo , oo ] 的集合的代数 ^(1), 称做由 I 上 
的集系诱导的、由形如 


( 4 ) 


( a ， b ] = {x G 


a < x ^ 6}, 


一 oo < a < 6 ^ 00 


的不相交区间之有限和构成的最小 a - 代数，其中 (-00,6] 即集合 {x 


一 OO ^ 




x < b }. 


注1 对于可测空间 （ R ， 方⑻)，又常使用记号 
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注 2 在数轴 R 上引进（与通常的欧几里得度量 | a ; - 2/|等价的） 度量： 

士 — y | 

1 + |x - 2/|’ 

而以 ^ o ( M ) 表示，由有限个“形如 5 p ( x °) 的不相交开集之和”诱导的、最小代 

数，其中对于 p > 0 , x ° G M , 




S p ( x °) = {x € E ： pi ( x ^ x °) < p }. 


那么， ^^ o ( R ) = •^( M ) (见练习题 7). 


3, 可测空间 ( R n , J ^( R n )) 设 R n = Rx 


R 是 n 条(份）数轴的直积（或欧几 

里得直积)，亦即有序数组 X = ( xi , •■- , x n ) 的集合，其中- oo < Xk < oo , k = 1， 

集合 I — II 


X 


* 


M ■ 


,n 


In , 其中 A = ( afc ，6 fc ], 即集合 {x e : Xfe G Jfc，fc = 1 ， 


， n } 称 

做矩形，而 4 称做此矩形的边.以文表示有限不相交矩形/之和构成的集合的全 

体.由矩形系夕生成的最小 tr - 代数称做中集合的 博雷尔代数，记作方 ( R ，. 
现在说明，可以用另一种方式得到这一博雷尔代数. 


X 


X • 


• • 


与矩形 I = h 

是数轴上的博雷尔集,且在直积 M 

雷尔边的一切矩形的最小 a -代数，记作 


In 同时，考虑具有博雷尔边的矩形 

M 中占据第 A ; 个位置).包含具有博 


， x B n (Bk 


X 


X 


* * * 


= M x … 


并且称做 a - 代数义 ( M ) 的直积.我们证明，实际上， 


^( R n ) = ^( R ) 

换句话说，“由有限个不相交矩形 B = B 1 x ... xB ri 之和”形成的集系生成的最小 

代数，与“具有博雷尔边的、有限个不相交矩形了 
集系，二者重合. 

证明本质上依赖于下面的引理. 

引理5 设箩是 D 的某一集系，集合假设根据定义， 


In 之和”形成的 


h X 


a— 


x 




而是由集系 篆 HB 生成的 B 的子集象小 a - 代数.那么 


⑹ 


(&" n B) = Pi 


⑹ 


a 


证明由于篆〔 (7 (篆)，可见 


^DBC a(g) nB 


⑺ 
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t 


由于 a (家) n S 是 S 中的 a- 代数，因此由⑺式，可见 


a(^nB) C a(^) n B. 


为证明相反的包含关系，仍利用适当集合原理.记 


W B = {Ae a {^) : AnB ea(^D B )}. 


由于 a (巧和 a (雾 n B) 是 a- 代数，则 r s 也是 a- 代数，而且显然 


^ ^ b Q <j{^ n B). 

由 a(^)C a ( W B ) = W B Q a ⑹，可见 a ⑹二酽心从而，对于每一集合 A 6 a(^), 


有 


Adbc a(f nB )， 


于是， 

现在证明 a - 代数 j(]tn 与方 ( R ) ( g ) … ® 方 ( R ) 重合（相等).对于 n = 1，二者 
显然重合.现在证明，对于 

因为 ^( E 2 ) C 义⑻ ⑭方⑻，只需证明， 任意历 x 丑 2 属于 ^( R 2 ). 〜 

设 R 2 ^ Ei x E 2 , 其中軋和 R 2 分别为“第一条”和“第二条”实数 轴;; = 

^2 = Ml X ^2,其中 方1 X R2OR1 x ^ 2 ) 是形如 X M 2 ( Ki X B 2 ) 集合 

的全体，其中历 e ( B 2 g 义 2 ).假设％和歹 2 是恥和私中的区间的全体，而 

»- _ r — 

^ 1 =^ 1 X R 2 ,^2 = Rl X ^ 2 . 那么，如果 Si = Si X R 2 ,5 2 = 

式，有 


□ 




爲 


X 


2, 


S 2 , 则由⑹ 


X 


1 


Bi X .82 = jBi X ^2 G ^ 1 n ^2 = 0 ■(叉 1) n 石 2 

=cr( 7 1 n b 2 ) c a(^i n 文 2) = <y{^\ x A )， 


而这正是要证明的. 

任意 n > 2 的情形用类似的方法证明. 

注设 ^ 0 ( K n ) 是由不相交开“球”集有限个“形如 S p ( x °) 的之和”诱导的最 
小 cr— 代数,其中对于 p > o ^ x ° e E n , 


□ 


Sp ( x °) = {x eR n ： pn ( x , X °) < p }, 


而度量为 


Pn { x , X °) = ^22^ k p 1 ( x k , X ° k ), 


k—X 


其中 a: = (: ci， … ,x n ),x° = (a：J, 

于是， ^ 0 (M n ) = ^(K n ) (练习题 7 ). 


，4). 


« » « 
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4. 可测空间空间 （ IR ' 多坪 00 ))是建立具有无限步概率模型 
的基础，因此它在概率论中有重要意义. 

空间 IR 00 是有序数列 


X = { xi , x 2 , …）, 


—00 < Xfc < oc , = 1，2, 


集合.记4和执相应为区间 （ a fc ，W 和（坐标为 n 的）第 A ; 条直线的博雷尔集 
考虑 柱集： 




In ) = 

B n ) = {X 

^( B n ) = {x 


( 工 1 ， $ 2,…）， $1 £ hr 

(Xl ， X2 ， • ’ _ ) ， Xi G Si ， 

(〜奶，… , x n ) e B n }, 


, X n G In } ^ 

, x n G B n } ’ 


⑻ 


X • 


X 


: X 




* * 


• * 


^( B x 


⑼ 


X 


X 


: X = 


* 學 * 


« » 學 


( 10 ) 


:X 




其中把是中的博雷尔集.柱集中的每一个“柱”叉 (^ X . mX ^) 或夕 (5 n )， 
可以视为以 BT + 1 ， R n +2 , …，为底的柱，因为 




B n ) =^{Bi 


-x B n x R ), 


X - 


X 


X 


* » 


_ 


其中 B n+l = 丑71 x R . 


不相交柱集 ^(/l 


In ) 的有限和构成的集合是代数.同样，不相交柱集 
B n ) 的并构成的集合也是代数.柱集系 3 T ( B n ) 也是代数，记, 


• X 


X 


^ i ( M °°) m 爲 ( R °°) 相应为包含（ 8 ),(9)和 （10) 式中一切集合的最小代数 ( 
代数 jJR 00 ) 常表示为方⑻ ® 戈⑻⑧…） • 显然 


x 


X 


( 7 — 


^( R °°) C ^( M 00 ) C 爲 ( R °°) 


实际上，这三个 a - 代数重合. 

为证明对于每一个 n = 1， 2, … 记 


r n = { ACM n ：[ x = ㈨ ，… , x n ) G A]E 鄭 °°)} 


设 Pg J (5 T )， 那么 


B n G^ n 


由于心是 a - 代数,故 


J ^( R n ) Ca(^ n )=^ n 


由此可见 ^( M 00 ) C 

于是， J ^( R °°) = ^( M 00 ) = ^( E 00 ). 

以后，我们称 ^( M °°) 中的集合为 ( M °°) 中的博雷尔集 


H ㈣ 
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注设 ^ 0 ( K °°) 是由不相交开“球”集有限个“形如 S p ( x °) 的之和”诱导的最 
小 CT — 代数，其中对于 p > 0 , x ° eR °°, 


S p ( x °) = {x e R °° : Poo { x 7 x °) < p } 7 


而度量为 


Pooix.x 0 ) ^^2 - k p 1 (x k ,x° k ), 




其中 z = { xi , x 2 ^-), x ° = ( X ?， xg ， …). 于是，=爲(股°°)(练习题 7) 

举几个 R °° 中的博雷尔集的例子. 


( a ) {x G M °° : sup x n > a }, {x G M °° : inf 

( b ) {x G M °° : limx n ^ a }, {x 6 K °° : limx n > a }, 其中 


< «}； 


x 


lima: n = inf sup 

n m^n 


limx n = sup inf 

n m^n 


X 


X 


使极限 lim x n 存在并有限的 : r G M °° 的集合 ; 


(c) {x 6 M°° : x n x } —— 

(d) {x G M°° : limar n > a}; 


(e) ja: G R°° : J2Jx n \ > a|; 

( f ) / a : 6 R 00 :至少对于一个 n ^ 1, J2 x k 

例如，为验证 （ a) 中的集合属于只需注意到 


卜 Lk 

n 

} = [ j { 


x n > a } e ^( R °°), 


x : sup x n > a 


x : 


<a}G ^(R°°)* 


{x : inf x n < 


x : x 


a 


可测空间 ( r t ^( r t )) 其中 r 是任意 集合，而空间] r 71 是实函数 

( x t ), teT , 的全体 *) .我们主要考虑 r 是数轴上不可数子集的情形.为简便和确定 

计,现在可以假设了= 10,00). 

考虑如下三种类型的柱集. 


X 




3 T 


(h 


In) = {ar : Xf x G /i, 

x B n ) = {x : x tl G Bi , 
( B n ) = {x : ( x tl ，… ，xtj G B n }, 


e 7 n }， 

eB n }, 


( 11 ) 


X 


X 


，尤 t 






.* _ 


# • * 


^ # 1 ，…， tn 


(丑 i 


( 12 ) 


X 




I * 攀 






(13) 


tl 


，t 


* * _ 


其中 4 是形如 (a kj b k ) 的集合，是数轴上的博雷尔集，而 Bn 是 ET 中的博雷尔 


) 对于中的函数，以后还使用下面的 记号: 


= {x t )t€T,x- {x t ) 7 t e T. 
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集合 ^{h X … X J n ) 是如下函数的 全体: 在时刻 t U …， t n 函数“经过窗 
口” I u …， I n , 而在其余时刻取任意值（图 24). 


h 


o 


h 


24 


记 j ( R T ), i \( R T ) 和 ^ 2 ( M t ) 为相应地包含柱集 （11),(12) 和 （13) 式的最小 
-代数.显然 


a 


^(R t ) C J^ x (R t ) C 爲 (R r ). 


(14) 


然而，实际上三个 < r - 代数重合.而且可以完全地描绘这些集合的结构. 

定理 4 设 r 是不可数集合，则 ^( r t ) = 且任意集合 

a e ^( r t ) 有如下结构 ：在： r 中存在最多可数个点 g ，* 2 ，...， 和博雷尔集 b g 

使 


A = {x 

证明设 $ 是形如 （15) 式的集合的全体（对于不同的数组 SI B 

若对应于4，也 ，... e 篆的数组为 T (” = ( f )，#)， …)，: T (2) = (4 2 )， 
，•_■),则集合 t (°°) = ( j k r ( fc ) 可以取作一个统一 集系: 一切木表示为 


(工“為，…） e S } 


(15) 


:X = 


e 


( 2 ) 


2 


Ai = {x 


，… •） M }， 

其 中私是 （同一）<7-代数 雜°°) 的集合 ，而 n € T °°. 

由此可见,集系 r 是 a - 代数.显然，此 (7- 代数包含一切形如 （13) 式的柱集， 
而且由于 ^ 2 ( R t ) 是包含这些集合 的最小 a - 代数，则由此并连同 （14) 式，得 


(X 


:X 


, X 




c JB x (r t ) c ^ 2 (M t ) c ^ 

考虑 $ 中表示为 （15) 式的集合 A 如果固定 ( t 1} t 2 r -), 则用与空间 ( E °°, 
^( K °°)) 情形同样的论述，可见集合4是由 （11) 式的柱集生成的 C 7- 代数的元素. 

然而，这一 a - 代数显然属于 a - 代数于是连同 （16) 式就可以证明定理2 
的两个命题 


(16) 
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这样，卜代数 j ( M T ) 中任何博雷尔集式决定于（至少在可数个点 t u t 2r - 
上）加在函数上 x ( x t ) 7 tGT , 的约束.特别，由此可见，依赖于函数在不可数点上的 


性质”的集合 


Ai = {x ： 对于一切 t e [0， l ]， x t < (7}， 

= {x ：至少对于一个 f e [0,1], 心 = 0}， 

A 3 = {x: 在固定的点 M € [0,1], 连续 }， 

未必是博雷尔集.而所提到的三个集合确实 不属于 方⑼队 1 ]). 

现在证明这对于皂成立. 假如禹 €义 0 R [ M ), 那么根据定理4,存在这样的点 
(行，4…）和 集合妒 e 方 ( IT 0 ), 使 


( x t ° y x tp ' • • ) e B 0 }. 

显然，函数 y t = C — \ 属于乂 1 ,从而 ( y t o , y t o , • • •) € B Q . 定义函数 

C — 1，若力€(*?，也...)， 

(7 + 1， 若 i 穿 （亡 J ， 巧， …）， 


sup x t < C,t ^ [0 ? 1] > = {x 


x : 


x — 


Zt = 


显然， 


(辦’吨，…） = (外 ％，• ••）， 


从而，函数 z = ( z t ) 属于集合 


{ x : ( x t o ,^ t o ,.-.) E B 0 }. 


但是 z = ⑷明显不属于集合 { a :: sup < 6*}. 所得矛盾说明 Ai 餐 方 ( R [0 ’ 1】 ). 

由于关于一切函数 x = ( x t ),^[0, l ] 空间中的 ( T - 代数集合 A u A 2 

和 A 3 的不可测性，自然地应考虑较窄的函数类，以便使这些集合成为可测的.直观 
上明显，作为这样的空间，例如可以考虑连续函数的空间. 

可测空间 ( C y ^( C )) 设7 = [0，1]， 而 C 是连续函数 ： r = (々),0 彡 t 彡1 的 
空间.该空间关于均勾度量 




p (^^ y ) = sup \ x t — y t 


tei 


是可测空间.在空间 C 中可以引进两个 a - 代数: 歸) 是由柱集生成的 cr - 代数， 

而爲 ⑹是由（关于度量 P ( x ， y ) 的) 开集 生成的 <7- 代数，现在证明，两个^-代 
数实际上重合 J ^( C ) = 

设 B = {X : x tD < 6} 是某一柱集.易见，此集合是开集.由此可见 

_ 

{X : X tl < 61 ， …， a： tn < 6 n } e 爲 (< 7 ), 即 ^(C) C 爲 (C). 
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相反,考虑集合 B p = { y:ye S p ( x 0 )}, 其 中/是 C 中的某一函数，而 




S p ( x °) = {x G C : sup - < p ] 


t^T 


是以/为球心的开球 . 由 （7 中函数的连续性，可见 


B p = {y ^ C : y e S p ( x 0 )} = {y e C 

= g ° ： 


\ yt - x° t \ < p } 


max 


o 


<p}ef(C )， 


(17) 


— X 


tk 


t k 


其中 G 是 E 间 [o, lj 上的有理点.于是 ^ o ( c ) c ^( C ) 

空间 ( C ^ 0 ( C ), p ) 是完备的而且是可 分的； [5], [57] 

T. 可测空间（£>,义(乃 )） 设乃是一函数 

个函数 右连续 


的空间，其中每一 


X 




( x t + ), t < l , 而且对于任意 i > 0, 有左极限. 

像空间 C 一样， 在空间 D 上可以定义度量 d 
其中爲⑼是 由开集 生成的 （7- 代数，义 (D) 是 由柱集 生成的 
( D ,^( D ), d ) 是可分 空间； [5], [57]. 关于均勾度量是斯科罗霍德 （A. B. Cko P oxo ^) 

引进的，定 义为： 






*,y)， 使爲⑼ = J ^( D ), 

代数.这时 


(7 — 


d ( x , y ) = inf <£> 0 : 3 XeA , sup \ x t - 扒⑴ I + sup — X ( t )\ < e 卜， 


(18) 


其中 A 是 [0，1] 上的严格递增连续函数 A ⑴，且 A(0) = 0, A(l) = 1的集合. 

] 设空间 （ r ' 义 ( r t )) 是 r “份”数轴，连同其 

\t£T t^T ) 

博雷尔集系.在概率论中，除 （R T ，j(JR T )) 夕卜,还考虑用如下方式构成的可测空间 


8. 可测空间 


(n 〜 

\tsT teT / 


设 r 是下标的集合， ( Q u ^ t ) 是可测空间 t e 记 

^ ~ TT 


teT 


为一切函数 O； = M . teT , 的 集合: 对于每个 i e T , uj t e n t 

不难验证,一切有限个不相交柱集的并 


9 


(Bi x 


X S n ) = {a ； : a;。G 5i，• • 


^ Bn} ， G f ti ， 


亡 1，•• •，亡 


• * # 




构成代数 •以 表示包含一切柱集的最小 a- 代数，而可测空间 ( T [ n t1 

t£T 乂丄 

M ^) 


是可测空间 ( n t , jr t) 的直积 


§2. 代数和 <7 -代数.可测空间 
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9. 练习睡 

1.设及 i 和是空间 r * 的子集的 a - 代数.问集系 


Si nJ^2 = {A ： A e 和 A e J^ 2 }y 
JB X u^ 2 ^ {A ： Ae 或 A e J^ 2 } 


是否 a - 代数？ 

2 . 设遂 ^ { A ，氏,… } 是 n 的某一可数分割，而多= <7(诊)•问 (7- 代数 M 

的势如何？ 

3. 证明 


J ^( R n )( g )^( R ) = J ^( R n+1 ). 

4. 证明第4小节的集合 ( b )-( f ) 属于 ^( R °°). 

5. 证明第5小节的集合 A 2 和也不属于方(如 0 ， 1 】). 

6. 证明函数 （18) 确实是度量. 

7. 证明，方 0 (1^) = j ( R n )，n > 1，和 ^ 0 ( R °°) =^( R °°) 

8. 设 (7 = C [0, oo ) 是定义连续函数 
的情形一样，该空间关于度量 


( x t )， t >0 的空间，证明，像 C = C [0,1] 


■ - 
山 — 


p (工， y ) = Yl 2 


—n 


sup \ x t - y t \,\， x，y eC ， 

O ^ t^n j 


min 


是完备可分度量空间 ，而 ^ o ( C ) = ^( C ), 其中 J ^ o ( C ) 是由开集生成的 ( T - 代数， 
J ^( C ) 是由开集生成的代数. 

9. 证明,（定义2的）条件 ( A 0 ),( A 6 ),( A c ), 与（注2中的）条件 ( A a ), ( A ；), ( A ^) 等 


价 


10. 由定理1证明定理 2. 

11. 证明，定理3中的芝系是 A -系. 

12. 称 a - 代数为可教-生成的或可分的，如果它有某个可数集类生成. 

⑷证明，空间 n = (0, 1] 中博雷尔子集的 a - 代数方是可数-生成的. 

( b ) 证明，（例如）如下的情形是可 能的： 两个 a - 代数贫 i 和， 2 ,且 ， i c 叉 

但^ 2可数生成，而不是可数生成的. 

13. 证明， a - 代数爹是可数-生成的充分和必要条 件是： 对于某一随机变量 

( X ) ( a ( X ) 的定义见§4第4小节). 

_ 

14. 举例说明可分 a - 代数,其相应的下 - a - 代数是不可分的. 

15. 证明 X U X 2 ，… 是独立随机变量序列§4, §5,如果对于任意71 > l , a ( X „) 和 

( r ( X lr - ，相互独立. 

16. 举例说明两个 cr — 代数之并，不是 a - 代数. 


2^ 


= cr 
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17,设和乂 2 是两个独立的集系，且每一个都是 7 T - 系.证明 a {^ x ) 和 
(^ 2 )也相互独立.举例说明，虽然两 个不是 7 T - 系的集系和独立,但是 
( 和 a {^ 2 ) 不独立. 

18•设又是 A - 系，则 


<7 


a 


{ A,B e 又，災 nB = 0} => {AuB ^ 

19 . 设叉工和^ 2 是在 0 上的子集的两个 a - 代数.记 

rf (^ i ,^2)=4 sup \ P ( A 1 A 2 )^ P ( A 1 ) P ( A 2 )\. 

A!^i 
^2 2 

证明, d ( jr u jr 2 ) 表征和的相依程度,且具有如下 性质： 

( a ) 0彡 d {^ i ^ 2 ) ^ 1； 

( b ) 若叉 ！ 和， 2 独立，则 d ( J ^ u ^ 2 ) = 0 ; 

( c ) ^ 1 ,^ 2 ) = 1, 当且仅当， i 和 ^2 的交含概率为 I / 2 的事件. 

20. 利用引理1的证明方法，证明存在唯一含豕集系 A - 系 A (^) 和 


系 


7 T — 




丌 


21.设^是一集合 代数： 对于任意不相交的集合序列 ( A n ) n > lj A n e 且 

oo 

\^J A n £ 


证明 J 是 a — 代数， 

22 ‘设（，‘ m 是递增 cr - 代数序列，多；^ Q ，„ +1 ， n 彡 1. 证明 [ J ^ = , 是 

(一般刚好是）代数. 

23. 设，是代数（或 (7- 代数)，而 C 是 f 中某一集合.考虑由生成 

的最小代数（相应地 a - 代数).证明这一代数（相应地 a - 代数）的一切元素具有集 
合 （ AflC ) UCBnG ) 的形式，其中 

24. 设 I = RlJ {- oo } U ( oo } 是扩展的数轴.博雷尔代数龙(屁）定义为（见 

第 2 小 节)： 由集合 l -~ oo , x }, xeR y 生成的 cr - 代数，其中[-00, x ] = {- oo }( J (- oo , x ]. 
证明这一 a - 代数 ^(1) 与由集合生成的任何 a - 代数 重合： 

P 

( a ) [― oo ， x)，:r e IR ， 或 

( b ) ( x ， oo]，x G 1 R ， 或 

( c ) —切有限区间 {- oo } 和与 { oo }. 


§3* 在可测空间上建立概率测度的方法 


1. 可测空间 （ R ， 义 ( R )) 设 P (4) 是定义在数轴的博雷尔集上的概率测度.取 

A = (― oo , x ] 并设 


F(x) - P (- -oo^x] y x E 


( 1 ) 
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这样定义的函数具有下列性质 


1) F ( x ) 是非减 函数; 


2) ^(- oo ) = 0, F (+ oo ) = 1,其中 


F (- oo ) 


lim F ( x )^ F (-\- oc ) = lim i ^( x ); 




xl — OO 


xtoo 


3) F ( x ) 在每一点 x G R 右连续且有左极限 • 

第一条性质显然，而另两条性质可以由概率测度的连续性得到. 

定义1满足上述性质 1)-3) 的任意函数 F ( a ;)， 称做（数轴 R 上）的分布函數. 

于是，与 ( R ,^( E )) 上的每一个概率测度 P , (由于⑴式）有一个分布函数与之 
相对应.逆命题仍然成立. 


定理1 设 F = F ( x ) 是数轴 R 上一分布函数.那么，在 ( M ^( E )) 上存在唯 
个概率測度 P ， 使对于任意 


a < b < oo f 有 




— oo 


P ( a , b ] = F { b )^ F ( a ) 


⑵ 


证明设^是集合 AeE 的代数，其中每一个集合是形如 （a j 的有限个不相 


交区间的和 


n 


> : ( 办， b ^] 




fc = 1 


在这些集合上定义一集函数 p 0 


n 


Po(A) = J2l F (h) - F(a k )lAe ^ 


(3) 


k^l 


此式在代数^上，由 F 唯一确定一有限-可加集函数.因此，如果可以证明在代 
数义上函数 F 也是 可数-可 加的，则概率测度 P 在 ^( E ) 上存在性和唯一性,可 

以直接由测度论的一般结果得到（这里不加证明而直接引用，例如，其证明可以参见 

[42] ， [70]) • 


卡拉泰奥多里 （ C . Caratheodory ) 定理设 D 是某一空间， J 是其子集的代數， 

而义= a (^) 是含』的最小 C 7 - 代数.记 / X 0 为 （ fi ， J ) 上的 C 7 - 有限測度（即 
-可加集函 數)， 那么，在 （a j ) 上存在且唯一测度 M ， 是 Mo 的开拓，即 


a 


ii{A) — /xo(A), A e 


这样,我们现在证明，函数 Po 在 j 上可数-可加（即是概率测度)，根据 §1 的 
定理1,为此只需验证 Po 在0连续，即 


P ( A n ) lO.An i 0, A n £^ 
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设皂，烏,••是自^选出的一集合序列，且4 i 0. 首先，假设4属于某一 
闭区间 {- N ， N }， N < oc . 因为戽由形如 （ fl ，61 的有限个区间的和构成,且由于函数 
F ( x ) 的右连 续性： 当 Y 丄 a 时 


P 0 (a’ ， 6] = F ( b )- F ( a f ) ^ F ( b ) — F ( a ) = P 0 (a ， 外 


可见对于每一个乂 n 存在一个集合 凡 e J ， 使其闭包1 队] cA n R 


Po (乂 n) - Po(5 n ) ^ e2— n ， 


其中 e 是某一事先给定的正数. 

根据假设 C\^n = 0,因而 f |[ 5 n ] = 0* 因为 [ B n j 是闭集，所以存在 n 0 = n 0 ⑷, 


使 


no 


n [叫 

n=l 

实际上， [- N , N ] 是紧统,而集系 {[- iV ,7 V ]\[ B n ]} n >1 是该紧统的开覆盖.那么，根据 
海涅-博雷尔 [ H , E . Heine - E , Borel ] 引理（例如，参见[1]，[33])，存在有限子 覆盖： 


(4) 


=0 


no 


|J ( HV ， iV ]\ 队]) = [- JV ， AT ], 


n 二 1 


no 


n 队 


=0. 


考虑到⑷式，以及 A no G A no - i 二 … G Ai ， 有 


no 


no 


n 0 


Po ( A no ) = PoU no \f|sJ+P 0 f ] B k 


乂 n 0 \ 门 Bk 


= P 


0 


fe=l 


fc = l 


fc = l 


n 0 


n 0 


no 


^Po [ j ( A k \ B k )) ^ J ] Po (^\^) < J 2 e2 


— 左 




k^=l 


fc —1 


k=l 


因此 Po(A n ) 1 0 

现在去掉 条件： 对于某个 N , A n C [~ N , N ], 对于给定的 e > 0, 选择 iV, 使 
P 0 [— iV ,7 V ] > 1— e /2_ 那么，由于 


,n —> oo 


An = A n n [-7 V , N] + A n n l-N,N], 


可见 


p 0 ( 乂 n) = Po(A u n h7V,iV]) + Po(A n n l-N.N}) 

^ Po ( A n n [^ N , N })+ e /2, 


n=l 


表示区间 [ 0 , 1 ] 上博雷尔集合的全体.除博雷集合外，往往需要考虑区间 [ 0 , 11 上 
所谓勒贝格集合.称集合 A g [ 0 , 1 ] 属于集系 ^([ 0 , 1 ]), 如果存在博雷尔集合 A , B , 
使 4 g A g S 且 X ( B \ A ) = 0 . 不难验证， 3 ([ 0 , 1 ]) 是 a -代数.正是把 ^([ 0 , 1 ]) 称 

做区间[ 0 ， 1 ]上勒贝格集合的集系.显然 ^([ 0 , 1 ]) C ^([ 0 , 1 ]). 

_ 暂时仅定义在 ^([ 0 , 1 ]) 中^合上的测度 A , 可以自然地开拓到勒贝格集系 
及([ 0 , 1 ]) 上.具体地说，如果 A €^([ 0 , 1 ])^AC ACB , 其中集系 A,Be ^([ 0 , 1 ]) 

^ X ( B \ A ) = 0 , wm A ( A ) = A (^). 不难验证，这样定义的集函数 : X = A ( A),A 
粟([ 0 , 1 ]),是 ([ 0 , 1 ],^([ 0 , 1 ])) 上的概率测度，称做（勒贝格集系上的）勒贝格測度 

注 1 所采用的测度完备化 （_) 方法,不只适用于所考虑的情形.例如，假 

设 ( Q ,^, P ) 是某一概率空间.以歹 P 表示 n 的一切子集 A 的 全体： 对于其中 
每一个子集 A , 存在 A,B ，使乂 且 P ( B \ A ) = 0 . 自然，（利用等 

式 P [ A ) = P ⑻)也可以为 A € 定义概率测度.用这种方法得到的概率空间 

( a ,^ P , P ), 称做空间 ( Q ,^, P ) 关于测度 P 的完备化. 

_ P 

如果对于概率测度 P ， 有叉 =萝、 则测度 P 称做完备的，而相应的空间 

称做完备概率空间. 

注 现在简单地阐述卡拉泰奥多里定理的证明思路，假设其中 fi 0 m 

设火是中的集合， AM 2, …是 j 中的集合，并且覆盖集合 A ： A C 
U^=l A n - 定义集合 A 的外测度 〆 (4) 如下： 






这时，相应的概率测度（记作 A )， 称做区间 [0,1] 上的勒贝格測度. 显然， A ( a y b ] = b — a 、 
其中0 < a < fc < 1. 换句话说，区间 ( a ,6] (以及区间 （<2，&)，[ a ， b ]，[ a ， b )) 上的勒贝格 
测度就等于区间的长度6 - a . 


以 


^([0,1]) = {A n [0,1] ： A g J ^( R )\ 


由上一段的结果（只是将其中的人换成 烏 H 卜况叫）可得，对于充分大的 n ， 有 
Po (人 n [- M # lK 々2.于是,仍然得到 Po ( A n ) i 0 

这样，在 ( E ,^( R )) 上的概率测度 P 与数轴上 R 的函数 F 之间，存在-对 

应关系.习惯上， 把 由函数 F 建立的测度 P ， 称做对应于分布函数 尸的勒贝格-斯 

蒂 尔切斯 （ H ， L . Lebesgue - T . J ， Stieltjes ) 概率 测度. 

特别重要的情形是，如果 


□ 
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攀 


</ 


V V/ > 

H o H 

若若若 


F 
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其中 inf 对集合4的一切上述覆盖 ( A u A 2 j ---) 来求; 而 

( A ) = 1- fi * ( A ) 


称做集的 内测度 N ( A ). _ 

设3是中满足 ^( A ) = / r (4) 集合全体.不难证明， 集系〕 是 
代数（练习题12)，因而 J g a (^ S ) C ^ i . 赋予3中集合>1以“测度” fi ( A ), 令其 

等于 〆 (/)(= ^( A )). 函数 ii ( A ) 确实是测度（练习题 I 3 )，即 tx ( A ) 确实是可数- 
可加集函数（并且是概率测度，因为 fi ( n ) = / i 0 ( fi ) = i ). 

由等式 P ( a ,6] = F { b )~ F ( a ) 建立的,概率测度 P 与分布函数 F 之间的-对 

应关系,使得可以由相应的分布函数构造各种概率测度. 

离散型测度若分布函数 F = F ( x ) 是阶梯函数，则对应的测度称做离散型 

测度.对于离散型测度，分布函数仅在（有限或可数个）点 
AF ( xi ) > 0, i = 1 , 2,…，其中 AF ( x ) = F { x )~ F (; r -) (图 25). 在这种情况下测度集 

中在点 


a— 


-改变其数值 


工1，工2, 


^ * 

—— 1 —— *■ _ 


^1 ? + 


P ({^}) = AF ( x k ) > 0, ^ P ({ x fc }) 


k 


F ( x ) 


! AF ⑹ 


! 卿2> 


I AF(x{) 


文 i 


x 2 


^3 


X 


25 


数组（仍，仍，…)，其中 p k = P ({ x k }), 称 做离散型概率分布，而相 应的分布函数 

F = F ( x ) 称做离散型的. 

下表是最常见的离散概率分布类型及其名称. 


分布名称 


Pk 


离散均勻 


1 ， 2 , ■…， N 


，2 ,， • 




伯努利 （ J_ Bernoulli) 


— p , po — 

CSpV- fc (^oTl ， …， n ) 


-p(n= 1 ， 2 ,…） 


X k 


-X 


(S. D. Poisson) 


(fc = 0 ， 1，--.) 


— e 


fc! 


pq k ~ l 

\ p r q k ~ r (k 


几 


= 1 ， 2, • 


负二项（帕斯卡 ) 

[B ， Pascal] 


r — 


p(r = 1 ， 2 ,…） 


r，r + 1 ， 


< p 彡 1 ， 




4 » • 




fc — 
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绝对连续测度称测度为 绝对连续的， 如果存在非负博雷尔函数使 


其分布函数 F = F ( x ) 可以表示为 


X 


F ( x ) = 




⑸ 


其中的积分理解为黎曼 （ G . F , B . Riemann ) 积分（而在一般情形下是勒贝格积分 


(§ 6 )). 


函数称做分布函数的密度（概率分布密度，或简称为密度)，而分布 


函数 F = F ( x ) 本身称为 绝对连续的. 


分布名称 


Pk 




[a,b] 上的均匀 


a，b G R;a < 


正态或髙斯 


y/^na 


(C* F. Gauss) 


马 （ r ) 


a > 0,/3 > 


r ( a )/3 


a 


1 (l-x)^\0^x ^ 1 


(B) 


Ck — 


a > 0,/3 > 0 


X 


B(a ?/ 3) 


指 


(参数为 a 二 1 


(3 = x ~ l 的 r 分布) 


A 


—A |x — ct [ 


双侧指数 


_ e 


2 


2 


(卡方 ）（ r 分布: 


n 1 丨 A 


(自由度) 


_ * « 


2^/ 2 r ( n /2) 


l/2，/3 = 2) 


a 




(自由度) 


(第一自由度 ） m = 1，2,… 


(第二自由度） n = 1，2，.. 


显然，任何黎曼可积且在数轴上的积分为1即 /^/ (x) dx = 1的、非负博雷尔 
函数/二 /( W，x G R , 由 （5) 式决定 ( R ? ^( R )) 上某一概率测度的分布函数.表2 


—3 
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列出了概率论与数理统计中特别重要的，不同类型的概率密度/ = / Or ) 的例子，并 
且指出了其名称和参数.（在表中未指明 x 值的，认为 / Or ) =0.) 

奇异测度称点 x 为分布函数 F ( x ) 的增长点，如果对于任意 s > 0,有 POr + 

e ) - F(x - e ) > 0. 测度称为奇 异的， 如果其分布函数 F ( x ) 连续，但是在其增长点集 
合的勒 贝格测 度等于 0. 回避有关这样函数构造的细节（例如，可以参见 [70]), 我们 
仅限于举一个“传统的”例子. 

用下面的康托尔 （ G . Cantor ) 方法，构造区间[0，1]上的分布函数 F ( x ). 

将区间[0，1]分成三等份，并且设（图 26 ) 


1/2，若: re (1/3,2/3)， 

若 x = 0， 


巧⑷= 


0, 


若 


用线性内插法再给函数 F 1 ( x ) 补充上定义. 


啡) 


1/3 


2/3 


9 9 9 


26 


其次，将区间[0, 1/3] 和[2/3, 1] 中每一个仍然分成三等份，并且建立函数（图 


27) 


1/2，若 ; re (1/3,2/3)， 
1/4，若 (1/9, 2/9)， 
巧 ⑻= j 3/4，若 x G (7/9,8/9)， 

若: T = 0， 


0 , 


若 


也用线性内插法再给函数 F 2 (x) 补充上定义. 

重复这一过程，将建成函数序列 F n ( x),n = 1,2, 

于某非减连续函数 F ( x ) (称为康托尔函数)，而且其增长点的集合的勒贝格测度为 
0. 事实上，由函数 F ( x ) 的构造过程可见, F ( x ) 为常数的区间 (1/3,2/3), (1/9,2/9), 

(7/9,8/9) ，•… 的总长度为 


函数序列 { F n ( x )} 收敛 


_ 


■ 


12 4 

3 + 9 + 27 


⑹ 


3 








在可测空间上建立概率测度的方法 


165 


嘛 


以 f 表示康托尔 （ G . Cantor ) 函数 F ( x ) 的增长点的集合.由 (6) 式可见 

\{^) = 0. 同时，假如//是对应于康托尔函数 F ( x ) 的测度，则 〆 ，）= 1.( 在 

这种情形下，称测度 M 关于勒贝格测度 A 为 奇异的 .） 

我们不准备过多的讨论关于分布函数的可能类型的问题，只限于指出，实际上上 
面指出的三种类型包含所有的分布函数.确切地说，任何分布函数 _ F (: r ) 都可以表示 


为 


F{x) = aiFi(x) 4 - a 2 F 2 (x) + o ： 3 F 3 (a ;)， 

其中 F x ( x ) 是离散型分布函数, F 2 ( x ) 是连续型分布函数, F s ( x ) 是奇异型分布函数, 
而= 1,2, 3) 是非负实数,而且 ai + a 2 + «3 = 1 (练习题 18). 

勒贝格测度到数轴上的开拓定理1在 （ R , 方 ( R )) 上的概率测度与 R 上的 
分布函数之间，建立了 一一 对应关系.分析该定理的证明可见，实际上有更为一般的 
结果，其中包括可以在整个数轴上引进所谓勒贝格测度. 

设 M 是 ( Q ,^) 上某一 a - 有限测度，其中 j 是子集的代数.结果表明，关 
于测度//自代数 j 开拓到最小 a -代数 a (^) 的卡拉泰奥多里定理结论，对于 
有限测度仍然成立，这为定理1的推广提供了可能性. 

使对于有限区间/的测度 〆 /) < oo 的任何 a - 有限测度 / i , 称为及 ( M )) 上 

的勒贝格-斯蒂尔切斯测度.我们把定义在数轴 R 上，值域为 (- oo , oo ) 的任何不减 
右连续函数 G = G(x) t 称为广义分布函数. 

定理1可以这样推广，使公式 




CT — 


fi ( a , b ] = G ( b ) — G ( a)，a < b , 


仍然可以建立勒贝格-斯蒂尔切斯测度 / i 与广义分布函数 G 之间的 一一 对应关系. 

实际上,如果 G (+ oo ) - G (- oo ) < oo , 则定理1的证明完全适用，并且无需作任 
何改变，因为可以将这种情形归结到 G (+ oo ) - G (- oo ) = 1和 G (- oo ) =0的情形. 

现在假设 G (+ oo ) - G {~ oo ) 


. 设 




( G ( x ), 若卜| < n ， 

G ( n ), 若 : r > n ， 

G (- n ), 若 

在代数 J 上定义有限-可加测度 / io , 使其在 ( a , 6] 的值 / x 0 ( a ,6] - G ( b )- G ( a ), 
而设如已经是（按定理 1) 建立的、对应于函数的 G n ( x ) 的可数-可加测度. 

显然，在 J 上洳 T Mo . 设烏， …是 J 上的两两不相交集合，且 A 三 
E 人€ 那么， （§1 练习题 6) 


X < —71 


"0 ㈤ 彡 y^Mo(^n) 
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而且，如果 Yl^Ll / io (乂 n ) =⑺，贝!1 


"0( 乂）= 〉二 Mo (^ n ) 


n=^l 


现在假设 ^/ io (^4 n ) < OO , 那么 


00 


^ o ( A ) - lim fjL n ( A ) = limYl fi n ( A k ) 

Th 7% 


k=l 


根据所作的假设 EMo ( A n ) 


因此，由 / ir # 彡灿可见 


< 00* 


oc 


^ Mo (^4) - 〉二 Mo (-^ fc ) 


y ^/ i n (^4 fc ) — / io (- Afc ) 


0 


= lim 


彡 0. 


n 




fc=l 


这样，有限可加测度 / i Q 在 j 上是有限-可加的，因此（根据卡拉泰奥多 
里定理）它可以开拓到上的 a - 有限测度 

G ( x ) = x 的情形特别重要.对应于这一广义分布函数的测度,称为 ( M ,^( M )) 上 
mi 贝格测度. 像区间 [0,1] 的情形 一样, 在数轴上可以引进勒贝格集合系 ^( R)(A 
I ( R ), 如果存在勒贝格集合 乂和丑 ，使 B , X ( B \ A ) = 0)，对于 A 和 S 也 
可以定义勒贝格测度方 ( R ) 且 A ( BV 4) =： 0,则 A ( A ) = A (4)). 

可测空间 ( R n ,^( M n )) 如同数轴的情形，假设 P 是 （ R n ， j ( IR n )) 上的某 




G 




—测度 


记 


仏(工1，… ， x n ) = P ((- OC , Xi * 


X (-00,x n ]), 


X 


其更紧凑的形式为 


Fji^x^ = P( —00, x ， 


其中 a: = ( 工 1 ， … ,x n ), (― oo,x] = (-oo, xi] x 


(一 oo ， x ' 


X 


* # ft 


引进 IR 


的差分算子△_，按如下公式运作 （叫彡 W 


n 


^aibiFnip^l ， 


)= F n ( xi y 


，而 _ 1 ， 6“ Xi+i ， •" ，工 n ) 




n 


— F n ( xi J - * • 


> ^ n ) 


， 1 ，， 而 +l ， 


通过简单的运算，可得 




△anf^ ( 工 1 ， * • • ， $n) = P(fl ? 6] ? 


⑺ 


oi&i 


_ t * 


其中 （ a ，6] = ( ai , i > i ] 


( On ,^ n ]< 特别，一个不同于一维情形之处是,一般 


X 


X 


• • * 


P ( a , b ]^ F n ( b )^ F n ( a ) 
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* 


由于 P ( a , 6 ] > 0 . 1 故由⑺式可见， 对于任意 a = ( ai ， … , a n )，b = ( 61 ，…， 6 n ) 


• * △a n b Tl (工 1 ， 


A 


, x n ) ^ 0 


⑻ 


a±bi . 


由 P 的连续性，可见 F n ( x lr - , x n ) 对于变量的全体右连续，即如果 

=…则当: r ⑷ J _ z 时 

F n { x ^) [ F n { x),k 


X 


⑻ 


(工 1 ， . * . , ^ n ) ， 


X 


⑼ 


― > 00, 


同样明显， 


■ F ^(+ oo ，• • ’ , + 00 ) 1 


( 10 ) 


和 


limF n ( xi , 


( 11 ) 


， 


xiy 


假如至少有一个 y 的坐标为 


— OO 


定义 2 满足条件⑻ 〜 ( 11 ) 的任意函数 F = F n ( x lr ^ ， x n )， 称做（空间]上 


的） n 维分布函数 


运用与定理 1 同样的论述，可以证明下面的定理 


定理 


it F = F n { x lr - , x n ) 是] 中某一分布函数，则在 ( R n ^( R n )) 上 


存在唯一概率測度 P , 使 


P ( fl , b ] = ‘ △ a n b n ^ 1 n ($ l ，* 


，工 n) 


( 12 ) 


举几个 n 维分布函数的 例子. 

设尸 1 ， • •. ，是 R 上的一维分布函数，而 


) = F 1 ( x 1 )-^ F n ( x n ). 

显然,该函数右连续,且满足条件 （ 10 ) 和( IX ).不难验证 

) = n [#(〜）- Fk M] > 0 


F n ( x U 


，工 n 


△aibi 


^ a n bn ^ n (^ 


1 x n 


1， 


因而 F n ( x lr - , x n ) 是一分布函数 


函数 


( 0 ， 若 x k < 0 , 

Xk , 若 0 < Zfc < 1 ， 

1 ，若 asfc > 1 


的情形特别重要_这时，对于一切 ( K 抑彡 l，fc = 1 , 


有 


， n , 


4 * • 


•…， ^n) 


Xl 


X 




• * » 


n 
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对应于这一 n 维分布函数的概率测度，称做 [0,1]" 上的 n 维勒贝格测度 

多数 n 维分布函数具有如下形式 


^1 


F n ( x ir - . Xn ) 


fnitir 


， 亡 n)d《i - dt 


• 9 




71 } 


OO 


其中 / nd …， t n ) 非负函数，且满足 


OO 


fn(tl ， … ， t n )cUi • ， ■ dt n = 1 ， 


— OO 


而积分可以理解为黎曼积分（在更一般的情形下应理解为勒贝格积分).函数/ = 

fn ( h ， …， t n ) 称做 n 维概率分布函数的密度， n 维概率分布密度， 或简称为 n 维密 


度 


当 n = 1时，函数 


2 


(x — m) 


f ( x ) = 


，: r G R, 


2<t 


\/27 rcr 

其中 a > 0,是（非退化）高斯 分布密度或正态分布密度. 当 n > 1时, 存在这 一密度 

的自然类似情形. 

设 B = (~)是 


阶非负定对称矩阵 


n x n 


r 勿入 


i 入 j ^ 0, G M, i = 1, 


， n, 


^ - - - 沪 ‘ 

f tj ~ f Jl 


当 B 是正定矩阵时，其行列式 | S | = detB > 0,从而有逆矩阵 A = 
那么，函数 


IAI " 2 

(27 T ) n / 2 


- mi)(Xj — rrij ) I ， 


fn (*^1 ， • * . ， *^n) 


(13) 


exp 


2 


其中 G R，i = 1， 

个空间上的 （ n 重黎曼）积分等于 1( 这将在§13证明),且由于它是正的，故是概率密 


) 具有下列性质： Ah ，… ，〜） > 0,且在整 


，(*^1， 


， 


• * • 


度 


这一函数称做 n 维（非退化） 高斯分布密度或正态分布密度， 其均值向量为 
…， m n ), 而协方差矩阵为 B = A \ 

2 时，密度 / 2 (x 2 ， x 2 ) 为： 


771 = 


(爪1， 


当 


71 — 


7 r ^ exp { 


/2(工 2， X 2 ) = 


2(1 - P 2 ) 

(xi - mi) 2 2 p ( x 1 - mi)(X 2 - m 2 ) ( (x 2 - m 2 ) 


27T(Ti<72 


(14) 


2 


X 


2 


^2 


G 


ai <72 


其中 q > 0, \ p \ < 1. (关于参数和 p 的含义将在 §8 中说明 0 

态分布的示意图. 


28是二维正 


169 


在可测空间上建立概率测度的方法 




图28二维正态密度的图形 


注像 n = 1的情形一样,定理 2 可以推广到（与定义类似的） (R n ^(R n )) 上的 
勒贝格 —斯蒂 尔切斯测度，以及 IT 上的广义分布 函数. 当广义分布函数 ••- ， 

时，相应的测度称为空间 R 71 的博雷尔集合上的勒贝格 测度. 显然, 


) 等于 a 
对于博雷尔集合上的勒贝格测度， 


X 


X 


A ( a , b] = — cii)^ 


P “矩形 


( a , 6] = ( ai ，6 i ] x • • • x ( a n , b n ] 


的勒贝格测度等于其“体积”. 

可测空间 (R°° , {R °°)) 对于空间 M n ,n ^ 1,的情形，概率测度是按如下 

形如 （ Ml 的“矩形”出发,然后将其自然地扩展 


4 


參 


模式建立的：首先从基本集合 
到形如集合4 最后根据卡拉泰奥多里定理将其开拓到^ 71 )中的集 




合 


类似的建立概率模型的模式，也“适用于”空间 （ R 00 , 义 ( M 〜)） 的情形 • 以 


) e^{R n ) 


^ n ( B ) = {x G M °° : ( xi , 


，工 


表示空间 R °° 中 i ? G j ( R °°) 为“底’’的柱集的 隼合. 我们将看到，正是把柱集 U 然 
地视为 R °° 中 的基本集合， 并根据其概率的值定义中集合上的概率测度. 

假设 P 是空间 （ R 00 , 方 ( R 00 )) 上的某一概率测度.对于 n = I ， 2 ,…，记 

P n (B) = P(^ n (B)),B^^(R n ) 

相应地定义在 ( R 肩 R ))，( R 2 肩肢 2 ))，…上的概率测度 Pi ， P 2，.. 序列，具有 
如下明显的一致性：对于 


(15) 


1，2，. ••和 B G ^( R n ), 


71 




(16) 


P n + i(B xR ) = P n ( B ) 


特别值得注意的是，相反的结果也 成立. 
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定理3 (柯尔莫戈洛夫关于 （ R 00 , j ( R °°)) 中的测度）假设朽，^,…是 ( K ， 
^( E )),( M 2 ,^( R 2 )),.-- 上，具有一致性（ I 6 )的概率测度序列.那么，在 （ R 00 , 方 ( K 00 )) 
上存在唯一的概率測度 P ， 使对于每个 


1，2,…，有 


n 




P (^ n ( B )) = P n ( B),BG 方 ( ST ) 

证明假设5 G 戈 ( R n ) 而 ^ n ( B n ) 是以为“底”的柱集.賦予该柱集以测 

度 P (^ n ( B n )) = P n ( B n ). 

现在证明，由于一致性条件，这样的定义是适定的，即 P (^ n ( B n )) 的值与柱集 
的表现方法无关.事实上，假设同一柱集有两种表示 方法： 


(17) 


^ n ( B n )^^ n + k ( B n+k ). 

那么，由此可见，若 （ n ，… , x n+k ) e IR n+fc ，则 

r 

(^1 ，… • ， $ n ) € 万分（工 1 ，■… ， ^ n -\- k ) ^ S n + 灸， 


(18) 


从而，由 （16) 式，有 


Pn(B n ) — * • . ， X n +i) : (Xi , ■ ■ * ? X n ) G B n ) 

= Pn + fc (($ l ， … i + fc ) : ( Zl ， … , X n ) G B ) = P n + k ( B n+k ) 




« » • 


设 ^( E °°) 是一切柱集 = ^ n ( B n ), B n € ^( R n ) 

是代数. 

现在设 S 1 , …， B k 是 中的不相交集合.不失普遍性，可以 假设： 对于 
某个 71 ， 有总 =^ n { Bf),i = 1，2，... ， Ai , 其中邱,… ， 邱是 J ^( R n ) 中的两两不相 
交集合.那么， 


1,2,…的全体.易见， 


，n 




k 


k 


k 


k 




12^^) =Pn = E P -(^)= E P (岛)， 


P 


=P 


即集函数 P 在代数 ^( E °°) 上有限-可加. 

现在证明， P 在“零”连续（从而在上 a - 可加; 见 §1 的定理),也就是 

^ 时 P (瓦） 

假设相反，即设 P (瓦 ） —d > 0. 不失普遍性，可以 认为： 

B n = { x : ( xi ,- - , x n ) € B n }, B n e 义 ( R n ). 

利用概率测度/^在 （ BT ， 方 ( IT )) 中的如下性质（见例 9): 如果 e ^( M n ), 

则对于任意给定的 <5 > 0,存在紧统 e ^( R n ), 使人 g P h ( B n \ A n ) ^ 6 / 2 n+1 . 
故若 A n = { x : ( xi , … •，: r n ) G 人} ，则 


时瓦 i 0，则当 


说，若当 


0 


n — > oo 




P ( B n \ A n ) = P n ( B n \ A n ) < S / 2 n+1 
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% 


考虑集合么= mi 假设 


Cji = I X — (xi ，_ • _ ， 3 ^) £ C^} 


考虑到集合序列递降，得 


^( B n \ C n ) ^ J 2 ^( B n \ A k )^ EP (巩 V4 fc ) 彡 5/2 


k=l 


fc — 1 


但是按假设的条件 P ( S n ) — 5 > 0,由此应得 


limP ( C n )>->0. 


2 


现在证明这与 <7 n I 0矛盾， 

事实上，在集合 6 n 中各选一点必 n) = ( x ( r \ x { ^ r -). 那么，对于任意 n 彡1， 


有沄⑻ = ( a ^ n) ，…， 


)G 


设 （ m ) 是序列 ㈨ 的这样一个子列，使 ^ xl 其中4是 Q 中某一 

而 Q 是紧统 .） 由子列 （7 M ) 选这样 

) - ㈣ ，巧 ） e CV 同样，设 （4 nfc ) ，… ，4 n ，一 


( 打 1) 


点.（这样的子列存在，因为一切 xi 


e 


—个子列 （ n 2 ), 使得（4" 2) ，」" 2) 

( x ° u --^ x ° k ) eC k . 最后，得对角序列 ( m k \ 其中_是子列 （ n A ) 的第 A : 项.那么， 

时，有 —>• 并且对于任意 n = 1，2, ... ,点 

Or ?, 蛛…） G 显然，这与假设6„丄 0, 

于是，集函数 P 在代数<^(脱°°)上 CT — 可加，说明根据卡拉泰奥多里定理,可以 
将 P 开拓为 （ iT °, 方 (1 T 0 )) 上的（概率）测度 

注现在考虑的情形，空间 R °° 是 R 的直积 E °° = R x E x • • • 自然产生一个 
问题，假如把 ( R ^^ iR 00 )) 换成可測空间的直积，定理3是否仍然成立. 


对于任意 i = 1，2,. •，当 


— > OO 


矛盾 


□ 


只要仔细分析一下该定理的证明就会发现，用到的直线具有拓扑特点唯一性质, 
就是本质上用到 ：“在 ^( R n ) 的任意集合 A 中存在紧统，使其概率测度可以任意地 
接近集合4概率测度”.不过熟知，不仅空间 ( R -,^( R -)) 具有该性质,而且任何完 
备可分的、具有由开集生成的 a - 代数的可测空间都具有这一性质. 

这样,定理3对于如下情形仍然 成立: P 1} P 2 , - .. 是空间 


i), X f^2j^l ® ^ 2 )，•. * 

上的满足一致性的概率测度序列，其中是 完备可 分度量空间， (7- 代数 

由开集生成,而用 （A X 仏 

在§ 9 (定理 2 )将证明，对于 任意可 测空间 ( Q n ,^ n ), 如果测度 P n , n ^ l 是以 
某种特 别方式 构造的情形，定理 3 的结果仍然成立.在（关于所述可测空间，或测度 

{^ n } 族结构的拓扑特点无任何假设的）一般情形下,定理3可能不正确.下面的例 
子就说明这一点. 


代替 （ R °°, 方 ( R 00 )) 


X • 


* m 
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考虑空间 D = (0，1]， 它 显然不 完备 . 在此空间上按如下模式建立 a - 代数序列 

对于一切 n = l ，2 r • ，设 


^1 C C 


1，若0 < a ; < 1/ n , 

0，若 1/ n 彡 a ? 彡1， 

W n = {AeVL ： A=[uj ： ifi n (u) g B],B eJ^(R)} 


^Pn (^) = 


{%，•_•,%} 是包含集系％，…，匕的最小 

设， = cr ( U ^ n ) 是包含集系一切多 n 的最小 <7-代数.考虑可测空间 
并在其上以如下方式定义概率测度 P n : 


而 ^ 


代数.显然巧 C 


a 


a — 


F 2 c 


1，若 （ v - ,1) eB ' 
o , 若不然， 


Pn {^ : ( WlM ， … ， WnM ) € B 71 } 




其中 e ^(R n ). 不难验证，测度族是一 致的： 如果 A €，则 Pn+l(A) = Pn(A). 

然而可以证明，在 ( n ，) 上不存在概率测度 P , 使其收缩 P|， n (即将测度 P 仅局 

限在多 ^中的集合上）与 P„，n = 1，2,…重合.事实上，假如这样的测度 P 存在. 

那么，对于任意 n = 1，2,…，有 


P { a ; : #1(0；) =…= ip n ( uj ) = 1} = P n {^ : ^ i (^) =…= ^ n (^) = 1} = 1* (19) 


但是， 


{a ； : 仍 ( 0 ；)=…== 1} = (0,1/n) I 0, 

与 （19) 式矛盾，从而也与函数 P 的可数可加性（与在“零” 0的连续性）矛盾. 

现在举一个 （ ar ' A ( iRoc )) 上概率测度的例.设 f 1 ( x ), f 2 ( x ), ■■- 是一维分布函 

数序列.定义函数6? 1 (：10 = ^\(0：)，6 2 (：1： 1 ，0： 2 )=朽( 3 ： 1 仍01： 2 )，...，记巧,户 2 ,...为与 

这些函数相对应空间 ( R ,^( M )),( R 2 ,^( R 2 )),..- 上的概率测度.那么，由定理3可 
见，在 ( R °°^( M ~)) 上存在一测度，使 


P { xeR °°：( x u 


)eB} = P n (B),Be^(R n l 


，x 


特别， 


P{x E R °° : x \ ( ai , 


? ^ } — F\ (<2l) * * * 


# ft • 


设 Fi ( x ) 是伯努利分布函数 


V 


< </ >\ 


若若若 
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_ 


设 Q 是一切数值序列 x = (X1X2, …），= 0,1,的空间，及 (JR°°)rin 是中博雷 
尔子集的 a - 代数.可以证明，在上存在概率测度 P， 使对于任意 


，有 


n = 1 ， 2 , 


}= p ^ q n 




P{x 


^1 = M ，’ 


需要指出 5 正是因为缺少这一结果，我们在第一章§5中不能以 （8) 式的形式表述大 


数定律. 


5. 可测空间 （ IF ， j ( R T )) 设： T 是下标 i e 了的任意集合， R t 而是下标为 
t 的数轴.考虑不同下标 e T 任意无序数组 
( M r ,^( E T )) 上的概率测度,其中 M T = R tl x 

设 T 在一切有限无序数组的集合取值，则称概率测度族 { P T } 为一致的，如果对 

于任意两个数组 t = [ h ， …人]和 r = [ Sl ，… , s fc ] RaCr , 对于任何 BeJ ^( R a ), 


[亡1，…，亡 n]， 打> 1;设 P T 是 


T 


x R t 


有 


^<7 {(^51 $ Sk ) : (工 


-,x Sh ) e B} 

= Pr{(x tl r- ，〜） ：（叫 ，…，〜） e B}. 


( 20 ) 


定理 4 ((R T , 省 (M T )) 上的柯尔莫戈洛夫测度开拓定理）设 {P r } 是 （] R r , 
^( U T )) 上的一致概率测度族，则在 （ R t ，义 ( R t )) 上存在唯一概率測度 P , 使对于 

一切不同下标 t t eT 的无序数组 T = [ ti ，… , t n ] y B g ^( W ) 和叉 T = {x e 
( x ti ，…， G 丑} ，有 


T 


P{^r(B)} = P r (B) 

证明设集合 5 e ^( M T ). 根据 §2 定理 3 存在有限或可数集合 S = {々， 
} G r , 使5 = {u (T S1 ，，…） e 5}， 其中 B e J ^( R S ), M s =M 
换句话说， 5 = ⑻是“底” 为 Be ^( R s ) 的柱集. 

在这样的柱集5 = ^ s ( B ) 上定义一集函数 P: 


( 21 ) 


巧， • 


X 


X 


■ ■ 


P (^ s ( B )) = P S ( B ) ， 


( 22 ) 


其中由定理3知，概率 测度作 存在. 

我们现在证明， p 就是定理所断定存在的测度.为此需要证明两点. 第一, 验证 
定义（ 22 )适定，即在用不同方式表示5的情形下， P ( B ) 的值 不变; 第二，集函数 P 

可数可加， 

这样，设云= ^ sABi ) 和云= ^ s 2 { B 2 ). 那么，显然5 = ^ SlUS2 (B 3 ), 其中 

B 3 € ^( R s ^ s 2) ^ 因此只需证明，若 V 且 B e 则 P S W ) = Ps ( B )， 其 


中 


B f = {( x s ^x 

而 S ’ = { s ;， … }，5" = { si ， 方2,… }* 


， … ）： (x Sl ,x 




V 4 * 


S 2 ， 
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由于一致性条件 （20)， 等式 （22) 可以直接由定理 3 得出，从而证明 P ( B ) 的值 
与集合芳的表示方法无关. 

其次， 为验证集函数 P 的 可数可加性， 假设 { 反 J 是中某一两两不交 

的集合序列，则存在有限或可数集合 SCT , 使对于任何 n > l , B n =^ s ( B n ), 其中 

B n G J ^( R S ). 由于朽是概率测度，则 

(E 瓦 )= P (^s(B n ))=P s (E^) 

二 J ^ Ps ( B n ) = VP ( B n ). 


P 


最后，直接由测度 P 的构造可得性质 (21). 

注1需要强调 r 是下标的任意集合.这时由于定理3的注可见，如果用任意 
完备可分度量 空间仏 （连同由开集生成的 a - 代数）代替数 轴私， 则定理仍然成立. 

注2 曾假定所讨论的概率测度族 { P T }, 对于一切不同下标的无序数组 T = 

[ tl ,*-* , t n ] 是给 定的. 对此应着重强调，作为 T = [ ti , ■■- , t n ] 的函数，这些测度 P T 

实质上是由不同点 { M , … Atn } 构成的集合的 函数. （例如，数组 [ a ,6] 和数组 [6 ,aJ 

应视为同一数组，因为二者都是由点 { a } 和{蚪构成的同一集合 •） 有时作为开始的 
取概率测度族 { P r }， 其中 T 在一切不同下标的有序数组 7* =⑷，…，^)的集合上 

取值.（这时，数组 ( a ， b ) 和数组 ( b , a ) 应视为不同的数组，因为对于有序数组元素的 

先后顺序至关重要 •） 在这种情形下，为使定理 4 仍然成立，除条件 （20) 外需要再增 

加一个一致性条件： 


□ 


尸(“，… U 


•■xAJ = P ( t ri , 


Mu, X 


O 


(23) 


X . 


• X 




• 晷 


# « r 


其中 （ ii , …， in ) 是数 ( I ,-*- , n ) 的任意排列 e ^( R ti )- 条件 （23) 作为概率测度 
P 存在的必要条件，由 （21) 式（将 Pj 

我们下面总假设所考虑的数组 r 是无序的.如果: T 是数轴上的集合（或为某 
一完全有序集合)，则不失普遍性，可以认为对于所考虑的数组 

t\ < 亡 2 < 

以表示为 


m 换成 ^，...，^)) 可见是显然的. 


tl 


■ ■ ■ 


=[亡1， •. •，亡 n ]， 有 

tn - (例如，集合 T 由数值点 { ai },{ a 2 } ，… ,{ a n } 组成，则 T 总可 

[亡1，尤 ， tn ]， 其中 t \ < t 2 < — 


< 


D 于是，这是所有“有限 
维”概率只需给出这样的数组 T =[〖1，(2,…，其中 ti < t 2 < ■ ■ < t n , 其中 

, a n ). 这样,在这种情形下所有“有 限维” 概率， 
只需对于这样的数组 T = [ t U t 2 r - , t n \ 给出就可以了，其中 G < t 2 <- 

现在考虑 r == [0,00) 的情形.这种情形下 ， R t 是一切实函数 

间. ( Rl °^),^(] R [ 0 ^))) 上概率测度的一个重要的例子是所谓维纳 （ N . Weiner ) 测度， 

其构造如下. 


• < 


ti = min(ai， _ -. ,a n ) ， t n = max(ai, - - 


• < 《 n * 


( x t ) t ^0 的空 


X 




考虑高斯概率密度族 Wt ( y \ x)} t ^o (M y 的函数，而 X 固定) 


(y 一 1) 


外 0 /W 


, yeR ； 


\/ 2 iri 
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对于每一数组 T = pi ， k ， … < t 2 < …< t n , 集合 B = li 
Ik — ( afc ，6 fc )， 以及由公式 

P r (B) = P r (I 1 


4 , 其中 


X 


X 


# « ft 


In) 


X 


X 


* « 


■ 


(24) 


I 


^Pti ( ai |0 )(^ t2 ^ tl ( a 2 | G a ) …列 di ( a n | a n ])dai … da 


n 


h 


I n 


定义的测度 Pr ( B ) (积分理解为黎曼积分).然后，对于每一柱集 


(Ji x * * * x 7 n ) = {x € : Xt x G I\j 




€ l n } 




tu …， t 


• • » 


n 


n 


定义集函数 p , 设 


p(u 乃 


--X I n )) — … 九](了 1 


x In) 


X • 


X 


* 


■ ■ 




这样賦予柱集 汉 

集合7 


(乃 X ■ • _ X J n ) 测度的方法,其直观含义如下. 

In) 是于时间 ,tn 通过“窗口” /I,**- Jn (§2 

24) 的，所有函数的集合.我们把 < p tk - t k . Ao - k \ a k - i ) da k 看作“质点自点 
经时间4 - 到达 点叫的 da k - 邻域”的概率.那么，在 （24) 式中所考虑的密度 
的积，表示运动的“质点”在时间区间平移增童一定的独 




t 


■ 啤鬌 


(h 


X 


X . 


tl 


t 


筝 ■ 


■ 鬌鬌 




出发， 


a *— 1 


立性， 


不难看到，这样建立的测度族 {P T } 是一致的，从而可以开拓为 （ R [ 0 ，°°】， 
及 ( K [ Q ，^)) 上的测度_这样得到的测度，在概率论中起重要作用.该测度是维纳引 

I 

进的，称为维纳测度. 

6. 练习题 

1.设 F { x )^ P (- oo ， x ]. 证明下列 公式： 


P ( a , b ] = F ( b )- F ( a ), P ( a , b ) = F ( b -) - F ( a ), 

P [ a , b ] = F ( b ) - F ( a -), P [ a , 6) = F ( b -) - F ( a -), 

P ({ x }) = F ( x ) - F ( x-l 


其中 F ( x -) = hmF ( y ). 

2 . 证明公 戎 ⑺. 

3. 证明定理 2. 

4. 证明，分布函数 F = i ^ r ) 在 R 上最多有可数个间断点.问对于 IT 上的分 

布函数有何相应的结果？ 

5. 考虑函数 


1 ，若 ; r+ y 彡 0 ， 

0 ，若 : r + y < 0 ， 

G(x y y) = [: r + yj 是 ; r + y 的整数部分 


G { x ,\ j )= 



第二章概率论的数学基础 


176 


证明，两个函数都具有 性质： 对于每一个自变量右连续、递增，但不是 R 2 上的（广 
义）分布函数. 

6. 设 / i 是对应于连续广义分布函数的勒贝格-斯蒂尔切斯测度.证明，若集合 
A 最多是可数的，则 fi ( A ) = 0. 

7. 设 c 是连续统的势.证明中博雷尔集的势等于 c , 而勒贝格代数的势 


等于 2 C 


8 •设 （ Q ，， P ) 是某一概率空间， J 是 Q 子集的代数，而 < j {^) = 利用适 

当集合 原理，证明对于任意£ > 0和 B e ，，存在集合4 使 


P(AAB) 


9.设 P 是 ( R n ^( R n )) 上的概率测度.证明，对于任意 e > 0和 S g 方(，)， 
存在紧集糸和开集也，使乂！ g b g 欠 2 ,且 p ( a 2 \ a 1 ) (该结果曾用于定理3 

的证明 


10. 设 P 是给定概率测度.验证由 P r ( B ) = P {^ r ( B )} 建立的测度族的一致性 

(对照 （21) 式). 

11. 验证表 2-2 和表 2-3 中沒“ 分布” 确实是概率分布. 

12. 证明第1小节的注2中的：5是代数. 

I 

13. 证明第 1 小节的注 2 中的集函数 fi ( A ) y Ae ^, 是測度， 

14 . 举一例说明，若测度抑是 j 上的有限-可加测度（但不可数-可加)，则 
不可能开拓为 a (^) 上的可数-可加测度， 

15. 证明， Q 子集的 a - 代数 J 上的任何有限-可加概率测度，都可以开拓为 

n 的一切子集上的有限-可加概率测度. 

16. 设 p 是 n 子集的代数，上给定的概率测度.假设 eg a 但是 cn 
证明测度 P 可以开拓到 ( T - 代数并且保持可数可加性. 

1 7 •证明连续型分布函数 F 的承载子是一完全集合（即 suppF 的承载子是闭集， 

且具有如卞性质：若 z € supp F,e >0,则存在 y e supp F , ffiO < | x - y | < e ). 证明 

(任意）分布函数的承载子都是闭集. 

18. 证明关于每一分布函数 F 结构的如下基本结果（见第1小节末 尾)： 每一个 
分布函数都是凸组合 


F = aiFd + Oi 2 F^ c + a 3 F t 


SC? 


其中 F d 是离散型分布函数， F abc 是绝对连续分布函数, F sc 是奇异连续分布 函数; 而 


ai ^ 0, ai + a 2 + a 3 = 1 


19. 证明，对于康托尔函数和对于康托尔 增长点 的集合，(与 suppF 的承载子 
重合）中的每一个点 X ，有如下 表现： 


^fc(^) 




X = 


fc=l 
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其中 a k ( x ) = 0或2,而且对于这样的点，有 




尸⑷= E 


fc=l 


20.设 C 是 R 上一闭集.建立分布函数 F ， 使其承载子为 supp F = C 
21- 证明，二项分布 （§2 第1小节）的分布函数 


< m } = ^2 C nP k Q n 


—fc 


B n ( m ; p ) = P 


fc =0 


可以通过（不完全） B 函数 B n ( m ; p ) 表示 


(l^x) n - m ^ l dx 


B n ( m ; p )= 


x 


B(m + 1, n — m ) 


p 


22, 证明，泊松分布的分布函数 


k 


A 


F(n;X) = Yl 


-A 


— e 


fc! 


k^O 


可以通过（不完全） r 函数表示 


F n ; X ) = ~- 


dx 


x e 


n ! 


A 


23. 在描绘分布密度 / = /( a :) 的形状时，除均值和方差外，标准特征是参数“偏 


( skewness ) 


"3 


«3 = 


3 


和参数“ 峰度” （peakedness 或 kurtosis ) 


M 4 


<^4 = ^r 


4 


(7 


其中 


(x - ^ i ) k f ( x ) dx,fi - 


2 


xf ( x ) dx , 




a 


= "2 


对于表 2-3 中所引的分布，讨论关于参数 a 3 和 a 4 的值的问题. 

24. 对于服从参数0 = 1的 r 分布的随机变量 X (见表2 - 3)，证明 


T(k + a ) 


EX fc 二 


r ⑹ 


特别 ， EX = a , EX 2 = a(a + l ), 因此 DX = 

当# 1时求类似的公式， 


a 
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25. 对于服从 B 分布的随机变量 X (见表2 - 3)，证明 

B(r + k , s ) 

B ( r ,5) * 

26. 对于二项分布,试验次数 n 固定,考虑在 n 次试验中“成功”次数 p 恰好等 
于 r 的概率 P n { i ^ = r }. 此概率 V n {u = r } = C r n p r q n - r ,0 < r 彡 n , 其中 p 是每次试 

验“成功”的 概率. 这些概率 形成二项分布 （n 给定).如果考虑问题“最早出现 r 次 

‘ 成功’（随机地）发生在第 r - fc ( A : > r ) 次 试验” 的概率，将导出负 二项分布 （或 逆二 

项分布).证明，事件 fr = fc } 的概率为 


k 


EX 


P r {T 二 a ；} = Cl~_\p T q 


k—v 


， fc = r，r + l ， …， 


其中 r = 1，2,._. ( p 是每次试验“成功”的概率).这些概率 P r {r = k},k - r , 
1， •…， 的全体形成负二项分布.证明，对于给定的 


= rq/p 




§4. 随机变量 I 


1. 随机变量及其概率分布和分布函数设⑼， ） 是某一可测空间， （ R , 沒 ( R )) 

是数轴及其博雷尔集系 ^( R ) 的可测空间. 

定义1 定义在 ( S 7,^) 上的实函数《=^(^),称做 可测函数 或随机变量, 

如果对于任意 S e 方 ( R )， 有 


{ u ； :咖） eB } e ^\ 


( 1 ) 


或者，如果 r 1 ^) 三 {w eB } MQ 中的可测集. 

当 （ n ， y ) = ( ST ， 义 ( R «)) 时,可测函数称做博雷尔可測函數. 
任意（可测）集合4 G 义的示性函数 I A ( uj ) ,是随机变童最简单的例子 
表示为 




( 2 ) 


的随机变量,其中乙先 = 称 做离散型随机变量. 假如 （2) 式中的和含有 

限项, 则相应的随机变量 称做简单的. 

按照第一章§4的解释，可以说随机变量试验的某一数量 特征， 其取值依赖于“偶 
然” a 这时，可测性 (1) 的要求之所以重要,其原 因是： 如果在叭，）上给定了概 
率，则事件 {w :《心 ） e 的概率才有意义,其中 { a ; : 咖 ） e 表示“随机变童^ 

的值属于某一给定的博雷尔集合 

于是,我们给出如下定义. 
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定义2 ( E ,^( R )) 上的概率测度巧连同 


P^(B) = P{a ;： ^(uj) eB},B€ ^(E) ? 


称做随机变量 f 在 ( R ^( M )) 上的概率分布 • 


定义3 函数 


i^(x) = P{a; : ^(lo) ^ x}^x e M, 


称做随机变量《的分布函数. 

对于离散型随机 变量匕 测度 g 集中在有限或可数个点上，并且可以表示为 

p dB)= 


(3) 


{k:x k ^B} 


其中 p(x k ) =p{^ = X k } = AF^(x k )^ 

显然，也有相反的结论:如果可以表示为⑶式，则 < 是离散型随机变量 
随机变量€称做连续的，如果其分布函数 F^(x) 对€ R 连续. 

随机变量《称做绝对连续的®，如果存在非负函数/ = 々 Or ), 使 


巧 ㈤ 


h ( y )^ y^ x e 


(4) 




(积分可以理解为黎曼积分，不过在更一般的情形下,应理解为勒贝格 积分; 参见下面 
§6), 其中函数/ = f^(x) 称做密度. 

2. 函败 《 = f ( u ;) 为可测的充分和必 要条件 判断函数 f = da ;) 是否随 
机变童，需要对于所有集合验证性质 （1) 是否成立.下面的引理表明，对于 
这样集合类的“测试”可以简化. 

引理1 设豕是某一集系，且7(爹）=方 ( M ). 函数《 =《(0；)为义-可測的充 
分和必要条件是，对于一切 E e 有 


{u; : CM € E} 

证明必要性显然.为证明充分性仍利用适当集合原理 （§2) 

设贫 是满足 ^( D ) gJ ^, Dg 义 ( R ) 的博雷尔集系.不难验证“取逆像”运算, 
保持并、交与补的集合运算不变： 


(5) 


r 1 ⑹， 


⑹ 


r 1 卜 pm 札)， 


^ 1 (5a)=r 1 (^a) 

$在 我国文献中，亦常称绝对随机变量为连续型随机变置.——译者 
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由此可见，集系贫是 a - 代数.因此 


[方 (3 R )， 


故 


cr (^) C a {^) =贫 g J ^( R ). 


由于 a (^) = j ( R )， 从而逐 r = ^( E ). 

系函数 € = eM 为随机变量的充分和必要条件是，对于任何 X G 1 R ， 有 


□ 


W ; CM < x } 


或 


{c^ : ^(u) ^ x} G 

由如下事实可以立即得到系的 证明： 每一个集系 


= {x : x < c，c e R }， 

& '2 = {x ： X C 7 C 


eR } 


都产生 a - 代数 i ( R )， 即 a (^) = a (^ 2 ) = ^( R ) (参见 §2)， 

基于下面的引理，可以用其他随机变量的函数来构造新的随机变量. 

设 (P = <P(X) 是博雷尔函數，而 € = 是一随机变量 . 那么，复合函 
数 7 ? = f 0 ( ，即函数 T](uj) = 也是随机变量 _ 

证明引理的结论由如下事实 可得： 对于 B € j ( R ), 


引理 


{a; : 咖） eB} = {u;: eB] ^ {co ： ^(oj) e <p^ l ( B )} 


⑺ 


因为 ip ^ 1 ( B ) eJ ^( R ) 

这样，由于 x n , x + , x ~,\ x \ 是博雷尔函数,可见如果 € 是随机变童，则 ^ n ,^ + = 

max {(，0}，《 




min {^0},|^| 也都是随机变量’(练习题 3). 

广义随机 变量① 从给定的随机变量组出发，可以建立随机变童新的 


函数，例如， 


| ， Iim( n ， lim《 n ，… 

n=l n n 

注意,这些函数一般已经在扩充数轴 [-00,00] 上取值.因此,最好将可测函数类加以 

扩充，使之也可以取土 OC 为值. 


® PacmHpeHHafl c^yuafiHaH 


(extendid random vriable), 亦可译为“扩充随机变量 


sejin^HHa 


——译者 




随机变置 


181 


« 


定义4称定义在 （ Q ,，） 上、取值于 I = [-00,00] 上的函数€ = 为广 
义随机变量， 如果对于任何博雷尔集万€ ^( M ) { a ~ 代数 J ^( W ) = o -(^( M ),± oo )) 


满足条件 （1). 


下面的定理虽然简单,但是在建立勒贝格积分时是关键 （§6). 

定理 1 a ) 对于任意（包括广义）随机变量4 = CH ， 存在简单随机变量列 
b ) 在上述条件下，如果 €(0；) > 0,0； € A 则存在简单随机变量序列 6，&，...， 使 

时 O ) T 咖). 

证明首先证明第2个命题.对于 n = 1 , 2 ，.. •，设 


6,6,…，使 141 < 1$,且对于一切 u ； en , ^ 


n — oo 


对于一切 o / Gfi , 当 


7Z — 00 


n2 


k-i r 

--- 1 


匕 M = Y 1 




2 n 


fc 二 1 


可以直接验证,对于一切 even , 所建立的序列 u ^) T 如果注 意到乂 可以表 

示为$ =矿 - r , 则由已经证明的命题 b ), 可以立即得到命题 a ). 

现在证明，广义随机变量类关于逐项收敛封闭.为此，首先指出，如果心,&， 

U , inf 匕和 Um^n 也是随机变量（有可能是广 


□ 


是广义随机变量序列，贝 !| 


sup 


义的)，由 


{u ； : sup i n > x} = [J{L0 ： > x} € 

n 

{ o ; : inf <x} = ( J{w ： < x] e 


lim€ n = inf sup = sup inf 

m^n 


m^n 


可以直接得到上面所指出的性质. 


定理 


如果6,6,…是扩充随机变量序列，而 ^( lo ) = e 仏则 


C = 也是广义随机变量. 

证明定理的证明，可以立即由上面的结果和下面的关系式 得到: 


{uj : < x } = {u : < x ] 

={ o ; : hm ^ n ( u ;) = limCnM}n { IIm ^ n ( w ) < x } 

Q n { lim ^ n ( o ;) < x } = { lim 匕 ( a ;) < x ] e ^. 

随机变量序列之和、差、积、商的极限我们现在讨论随机变量的简单函 

数的一些性质，这些变量定义在可测空间上、且有可能取值于扩充数轴 I = 
[-00,00]*). 

% 

) 以下关于 S 中的算术运算，作如下通常的约 定：若 

; 此外 ，0 X (rtoo) = 0, oo + oo = oc 




4 


« 


，贝 ! J a 士 oo = ±oo, a/ 士 oc = 0 ;若 


< 0, m a X 
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•如果$和7/是两个随机变量,则《+ 77, d 办和 《 A ? 也是随机变量（假设有关 

运算有意义，即不出现形如 oo - 00 , oo / oo , 0/0等不定式). 

设 {《 n } 和 { y ] n } 是两个随机变量序列，分别收敛于 C 和 U (见定理 1). 那么 


&土 Un 一^ € 土 W ， 

&iVn — ⑼， 




V 


Vn + -/{T 7 n = 0 }(^) 


n 


这些关系式左侧的各个函数都是简单随机变量.因此，由定理2知^ 士 都 

是随机变量. 


随机变量的函数设 （ =是随机变量.考虑贫中形如伽 1(0；) 
B } y Be 义 ( R ) 的集合，它们构成 a - 代数，称为由随机变量 e 生成的 

作或 a (0. 

如果 W 是某一博雷尔函数，则由引理2知函数 r / = ^oe 也是随机变量，并且 
可测： 伽： 77M j ⑻（见⑺式)，实际上，相反的结果也成 


E 


擎 


代数，记 


a— 


立 


定理 


设 v = 咖) 是义 《- 可测随机变量 • 那么，存在某一博雷尔函数 A 使 

对于每一个 w G ri， 有 n p O 《，即 7 ]( u ；) = ( p (^( cj )). 


Si 


证明设％是一切可测函数7? = 7?( w ) 类，而 A 是可以表示为 p O 7?的 

可测函数类，其中#是某 一 博雷尔函数.显然，否彳 g %.定理的结论表明，实 
际上是= %. 

设火 G 和= OM . 现在证明 e 事实上， 若欠 e 则存在 

Be 义 (3 R )， 使4 = { o ; : 《( a ;) e B } •记 


1 ，若 x e B ， 

0， 若 x 系 B . 


Xb (^) 二 


那么 I a { uj ) = xs (^)) e ^ 由此可见，任何可测简单函数 


> : ^i^Ai (^)? ^ ^^ ， 


仍然属于? 


现在设 r ? 是任意可测简单函数 • 根据定理1，存在可测的简单函数 

时 Vn ( uj ) ^ e Q . 由上面证明的结 


序列 {^ n }, Vn = Vn(^), 使得当 

果知，存在博雷尔函数％ = <p n (X), 使加=在这种情况下当 


n — > OO 


时 


n — > oo 
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记 B = {x e R : lim n 存在},此集合是博雷尔集，所以函数 


lim 若 ; r G B ， 

若 x 牵 B 


( f ( x ) = 


0, 


仍然是博雷尔函数（见练习题 6 ). 

那么，显然对于所有 w G 有 


咖） = lim^ n (^(a;)) = 


于是，％ 


□ 


阶梯随机变量考虑可测空间⑴，^),和空间 Q 的有限或可数分割：贫= 
{ D u D 2 r --}, D i eJ ^， Y ： i ^^^ 组成含空集 0 和 Ea 的代数其中和式 
含有限或可数项.显然，集系 j 是单调类，因此根据§ 2 引理 2 ,代数^同时也是 

代数,记作 a {^), 称 为由多 生成的 a - 代数.显然 o {^) C F . 

设€ 是 您) -可测随机变量，则€可以表示为： 


♦ 


a— 


引理 


咖）= y ] x kip k « 


( 8 ) 


k — 1 


其中 Xfc > 1，即 ^( uj ) 在分割的元素 D k , k ^ i 上为常数. 

证明任取分割的一个集合 Afc ， 证明 < 7 ( 潑)—可测函数 乞在 D k 上为常数. 

为此，设 


Xk = sap[c : DkH {u : ^( w ) < c } = 0 ] 


由于 


{w : 咖） < x k } = |J {U) : 咖 ) < r }， 

I 

Mr < x k 是有理数，则 14 f |{^ : 

现在设 

Ea ^ a 的形式,其中对于有限或可数个下标求和，故 


r<Xk 


0 . 




则 D k f]{uJ : ^( a ;) < c } ^ 0 . 由于集合 { u ； j ( a ;) < c } 具有 


C > Xk, 


D k n{co : ^( uj ) < c } = D k 


由此可见，对于一切 c > a ： fc ， 


L>/c H {w : ^( u ;) 彡 c } = 0 ; 


由于 


{ a ; : > x k } = W : ^( ct ?) > r }, 


r>Xk 
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其中对于有限或可数个下标求和，故 


D k r \{ u ) : ^( uj ) > x k } 


0 




于是， np : 笋以 } = 0 . 从而 


Dk ^ {co ： ^{lo) = x k }, 


而这正是需要证明的 

7. 练习题 


□ 


1. 证明随机 变量纟 连续的充分和必要条 件是： 对于一切 

2. 设 a 为 采- 可测，问$是否也 篆— 可测？ 

3. 证明函数 x ' 


， P {€ = x } =0. 


x G 


= max(x, 0)’ 


+ x -是博雷尔函数 


min ( a :, 0), | x | = 

4. 如果 < 和？;都 梦- 可测，则 {w : 《( a ；) = e 

5 . 设 《和 r / 是 ( O ,^) 上的两个随机变量，而集合 A ^3 T . 证明，函数 


CM = ^( w)/a 4- r }( u ) I-r 


也是随机变量. 

6. 设6,…，^是随机变量，而 ( f ( x u •• - , x n ) 是博雷尔函数.证明…， 
U ^)) 也是随机变量 • 

7 . 设€和 r / 是以 1,2,-.. , N 为值的两个随机变量，且 ，广 证明存 
在数列的（1，2,... ， iV ) 的排列 - , i N ), 使对于每一个 j = 1,2，...， AT , 集合 

1 = j } 与 {uf ： y = i + j } 相等. 

8 - 举一随机变量 € 的例，使其分布函数有密度 f ( x ), 但是当 
极限 lim^oo f { x ) 不存在,从而/⑻在无穷大不为 0. 

9 .设 《和 7?是有界随机变量 （| 剞彡 Cl ，M < c 2 ). 证明，若对于一切 


时 f ( x ) 的 


彡1，有 


m, n 


^ m 7 ] n = E《 m x E " n ， 


则 S 和 r ? 独立. 


设 € 和 ?? 是随机变量，其分布函数=巧，证明，若对 xeR ,{ u : C ( uj ) = 

x } ¥ 0 ，则存在 y G 1 R ， 使 { a ; : ^( cj ) = x } = (uj : ?]( uj ) = ?/}. 

ii •设五是 m 上的有限或可数集合 4 是 映射： q -^ e . 证明$是 ( n , J ^) 上是 

随机变置，当且仅当对于每一个 xeE ,{ uj ： 


10 


§5. 随机元 


1. 随机 函数、 随机向量和随机过程除随机变量外，在概率论及其应用中，还 
研究更一般性质的随机对象.例如，随机点、随机 向童、 随机函数、随机过程、随机 








机元 
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场、随机集合、随机测度等等.因此，希望有一个关于任意性质的随机对象的一般 


概念 


定义1 设队，）和 ( E ^) 是两个可测空间.定义在 Q 上取 值于五 的函数 
x = x { uj ) y 称做 （取值于五的） 多 7茗-可测函数或随机元，如果对于任何 bg 冢，有 


{ a ; : X ( uj ) e B } 

取值于五的随机元，亦常称为 五- 值随机变量. 

下面讨论这一定义的一些特殊情形. 

假如 (E, 爹） = ( R ， 省 ( R )), 则随机元的定义与随机变量的定义一致 （§4). 

假如 ( E , 则随机元 X {^) 是 IT 中的“随机点如果抑是 

在第 k 坐标轴上的射影，则 X ( uj ) 可以表示为 

— (&«•*• ，匕 M )， 


( 1 ) 


( 2 ) 


其中 ^k = n k oX . 

由条件⑴可见，《^是普通的随机变量.事实上，对于任意 S G j ( R ), 由于 

Re j ( R n )， 有 


x M x S x R x - 


X 


X 


{w : 4(^) ^ B ] 

= W - ^i(^) G R, … ,^fc-i(u;) e R ，《 fc(a;) € B,^k + i(uj) G M, ••- ，匕 (w) e R} 

={uj : X ( lj ) € (M 

定义 2 我们把任意有序随机变量组 - - - ，7/„(0；)),称做 n -维随机向量. 

按照这一定义，任意在 ST 取值的随机元 X ( w ) 是 n - 维随机向量.反过来也 
对，任何 n - 维随机向童 X ( uj ) = to ( w )， …，心 M ), 是 W 中的随机元.事实上，如 

果 Bjte 及 ㈤， /e = l ， 


M)} 


x M x S x M x - 


X 


* 


则 


， n , 


B n)} = ： ^fc(a;) G B k } G ^ 


{cj i JT(cj) G {B\ 


X 


X 


fc=l 


含历 


B n 的最小代数等于 J ^( R n ). 那么，由 §4 中引理 1 的明显推广立 
即可得,对于任意 B e J ^{ R n ), 集合 {w : X ( lo ) 

设 [ E ， 茗)= ( Z ， j ( z ))， 其中 Z 是复数之 = x - j - iy , x,y EM . 的集合，而及 ( Z ) 含 

形如 {z : z = x - hiy,ai <x ^ bi , a 2 < ?/ < b 2 ] 集合的最小 < r —代数.由以上的讨论, 
可见复值随机变量 Z { uS ) 可以表示为 Z ( oj ) = X ( a /) + iY ( u ), 其中和 F ⑼是 
随机变量.因此, Z ( u ;) 亦称为复随机变量. 

设 { E ,&) = ( IT ， 多 ( R 。)， 其中 r 是数轴的某一子集.这时,任何可以表示为 

X = (6) ter , & = tt £ oX 的随机元； s ： = X { uj ), 称做定义在时间区间 r 上的随机函 


X 


X 


数 


像随机向量一样,任何随机函数同时也是随机过程.见下面的 定义. 
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设 r 是数轴的某一子集.随机变量组 x = 称做时间区间 r 上 


定义 3 

的随机过程. 

对于 r = { i ，2,...} 的情形 ， x =(心，…）称为离散时间随机过程或随机序 


列 


对于 r = [0，1]，（- TO ， oo )，[0, oc )，，.. 的情形 ， X = ( Ct ) ter 称为连续时间随机过 


程 


利用 a - 代数 ^( R t ) 的构造 （§2), 不难证明，（在定义3的意义下的）任何随机 
过程 X = (6) t € T , 同时也是随机函数（值域为 R T 的随机元). 

定义 4 设 X = (6) tGT 是随机过程.对于每个固定的 a; € A 函数 (6(a;)) tGT 
称做过程对应于结局 a ; 的实现或轨道. 

与§4的定义2类似，自然地引出下面的定义. 

定义 5 设 X = (6) tGT 是随机过程. 

1) ( R t ^( R t )) 上的概率测度 Px , 其中 


Px(B) = P{w : X(u) eB}, Be 


称做过程 X 的概率分布. 

2) 对于 h < t 2 〜 概率 


(B) = P{a ;： ( 6 ” . - 


Pt 




1 ?• 


称做过程 X 有限维概率（或有限维概率分布) 

3) 对于 G ■. • 〈 fn ， ti E ： T 函数 


(工1，’ • * ，工 n) = - ^ …€ 工 n} 


Ft u 




» » . 


称做过程 X =⑹虹的有限维概率分布函数. 

设 ( E , = { C ^ Q { C )\ 其中 <7是区间 r 二 [0, 1] 上连续函数 
空间，其中 a - 代数 JB 0 { C ) 是由开集生成的 （§2). 下面证明，空间 ( C ,^ o ( C )) 的任 
意随机元 X ，同时也是在定义3意义上的随机过程（且具有连续轨道). 

实际上根据§2,集合 A = { a : e C :< a } 是 ^ o ( C ) 中的开集.因此 


( x t ) t€T 的 


X 




{ cc ? :心 ( 0 ) 〈 a } = { u ? : X ( U 7) G yl } e 


另一方面，设 X = te ( a ;))& T 是(在定义3意义上的）随机过程，对于每个 

其轨道是连续函数，根据§2的 （17) 式 


S p (X°(uj))} = f^\{xec :{x tk -z^l <p}, 


{x e C 


x e 


tk 
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其中 4 是线段[0，1]上的有理点.因此， 


{^： 5,( x °( u ；))} = n ^ ： 1心》 — ^>)i < p }^ 


tk 


于是，对于任何 { o ； : X ( o ；) g B } e 有 B e 

通过类似的讨论也可以证明，在§2 ( 第7小节）中引进的空间 ( D ^ o ( D )) 上的 
随机元，可以视为随机过程，其轨道属于无第二类间断点的函数空间.并且逆命题成 


立 


随机元的独立性设恥叉， P ) 是概率空间，而 ( E a ^ a ) 是可测空间，其中 


攀 


的值域是某（任意）集合 U . 


定义6 称 災 可测函数 d ( o;))，a e K , 独立 （或 全体独立)， 如果对于 

， a n , 随机元 X ai ，… ， X an 独立，即 


任何有限下标数组 


Q ! l ,* 


P { X ai 


^ X an eB a J = P { X ai eB ai }^^{ x an eB a J , 


⑶ 


其中 B a e A . 


设 it ={ l ，2, …， n }，^ 是随机变量， aell , 而 


(^1 ，… ’ ， $ n ) = P {《1 < ， 


) ^ } 


是向量（心，… ， f n ) 的 n- 维分布函数•设 F^ t (x z ) 是随机变量= 1， 
布函数. 


的分 


， n , 


* « 


定 


随机变量《1，…，独立的充分和必要条件是，对于所有向量（: Cl , ， 


x n ) € M n ? 有 


F ^( x lr - , x n ) = i ^( a ； i ) … K ； r n ) 


(4) 


证明必要性显然 • 为证明充分性，设 a = ( 化，… ，如 )， b =(匕， …， b n ) 是任意 


向量，则 


P ^( o ,6] = P{ai < ^1 < & i ， …， a n < Cn ^ K }, 


那么，由 §3 的⑺式，以及⑷式，得 


P 《(M] = U 此 ( 6i ) — F Ci( a 01 = Yl P ^i(^ b i] 

i — 1 i=^l 


从而， 


^ In} = f[P{^ G Ii) 


P {6 e / i , 


(5) 


其中 A = ( diybi ] 
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固定/ 2 ,…，4,对于任意历 e j ( R )， 有 


^ n €/ n } = P {6 e B ^ YlP ^ iEli }, 


⑹ 


P{€i G e 72, 


i-2 


设 j 是 ^( M ) 中满足 （6) 式的集合的全体 （§2, “ 适当集合原理 ”). 由不相交的形如 

/i = ( a 1? 6 i ] 的区间形成的代数^显然属于因此^ gig 方 ( M ). 由 概率测 
度的可数可加性（从而也由其连续性)，可见集系^是单调类.因此（见§2,第1小 


节) 


\ i { yS ) C^S C B ( R ). 

然而.根据§2的定理1， / i (^) = a (^) = ^( M ), 故 J =及⑻. 

于是⑼式得证 • 现在固定 ••- ,/ n , 并将/ 2 换成厌，运用与证明 （6) 式 

同样的方法继续这一过程,则显然可以得到需要的 等式： 


P {6 


i^n e B n } = P {6 G 5 i } … P{^n G B n }, 


其中 Bi e ^( M ). 

练习题 


□ 


s 


# 


i .设6,…，^是离散型随机变量，证明它们独立的充分和必要条件是，对于任 


意实数 


，工 n ， ^ 


XI , 


} = = ^ i }- 

i=l 

2. 证明任何随机函数 X ( lj ) = (6 (^)) teT (在定义3的意义上）是随机过程，而 
且反之亦然. 

3 . 设 A ，…，是分别在（五^心)，… ,( E n D 取值的随机元.其次，设 

相应为 爸^&乂、…、 & n l & f n — 可 

义1，… >5 n ° x n 也独立. 

4 . 设 Xi , X n ,.. 是可交换无限随机变量序列（即这样的序列，每一组随机变量， 
由具有不同下标的 fc 个元素构成，例如， X h , …， X ik 只与有关， 与 i u …， i k 具体 
值无关，其中 i u ... 两两 不等; 对照§1的练习题 11). 证明，若 EX 2 < oo,n > 1， 
则协方差 covpG ，^) >0. 

5. 设$7?乂是独立随机变量，证明随机变量 （ + T ? 与 C 2 独立. 

6. 设由随机变量 &,• 

•• ， ri n ). 假设满足下列条件： 

⑴随机变量 Cl ,...，6 n 独立； 

( ii ) 随机变童 m ， 

( iii ) 随机向童 X 和作为分别取值于] IT 1 和 IT 的随机元独立 


P{6 - XX , 


= X 


. * 


( El %) ，…八 E f n ,() 是可测空间，而 
测函数.证明，若叉 i ，…，独立，则 


51，* 


， 9n 


o 


91 


An 组成随机向量 X =(匕，…，“）和 y 


fm ， 々1， 




("1， 


独立; 


， Vn 
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摯 


证明随机变量6，- 


独立 


乂 m ， 仍 ， 


， Vn 


7. 假设有两个随机向量 X = (6, …， fm) 和 = (VU …， Vn). 已知随机变量 


独立 • 


《1，…，荩 m ，" l ， 


， Vn 


( i ) 证明，随机向量 X 和乙作为随机元独立（对照练习题 6). 

( ii ) 设/ : R m — Rj : -> R 是博雷尔函数，证明随机变量/(6,… n ) 和 


咖1，…， 7? n ) 独立 
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1. 引言与记号在第一章 §4, 对于 (12, ^, P ) 是有限概率空间，《二《…）是简 


单随机变量 


咖)= y^ x klA k (u^) 

k—\ 

的情形，曾经定义了数学期望吹的概念.对于任意概率空间 （ n ，， p ), 使用与简 

单随机变量的数学期望同样的概念.具体地说，根据定义，设 


⑴ 




( 2 ) 


这一定义，像有限概率空间一样，（在 E < e 的值与形如 （1) 的表现无关的意义上）是适 

定的.类似地可以证明数学期望的简单性质（见第一章 §4 第 5 小节). 

这一节的目的是：给出任意随机变量数学期望的定义，研究其性质.按分析 

的观点，数学期望坎是叉-可测函数 C = 对测度 P 的勒贝格积分.对于数 

学期望，除之外还使用如下记号 


[ 咖疋 ㈣ ， [ 

JQ JQ 


^dP 


数学期望的定义设€ =以…是非负随机变量.构造一非负简单随机变童 

时 T ( 见 §4, 定理 1), 

由于 E & 彡 E 《 n+1 (对照第一章 §4 第 5 小节的性质 3)), 则存在其中 
的极限有可能以+00 为值. 

定义1称 


擊 


序列 Unjn ^ u 使对于每个 W e H ， 当 


71^00 


= lim E^ n 

n 

为非负随机变量 4 = 的勒贝格积分，或《= C (^) 的数学期望. 

为使该定义是适定的，需要证明其中的极限与逼近序列的选择无关.换句 
话说，需要证明，若 U , 如 U ， 其中切 m } 也是非负简单函数序列，则 


(3) 


lim E《 n = lim Er/ 


⑷ 



第二章槪率论的数学基础 


190 


引理1 设 T ? 和 in{n > 1) 是非负简单随机变量，且 




那么， 


(5) 


lim E《 n > Er? 


证明设 e >0 且 




A 


77 


显然人丨 fi ， 而 


> (V- ^)!A n - 

因此，由简单随机变量的数学期望的性质，可见 


E$ n 彡 E ("- ^)1 = Er?/ 人 - eP(vl n ) 

= Er ?- 卽又 一 eP(A n ) ^ Er? - CP(A n ) - e, 

m v 


其中 C = maxw V ( lv ). 由于 e > 0 是任意的，得所要证明的不等式 （5) 

由这一引理可见 


□ 


lim E^ n ^ limEr/ m , 


n 


m 


而由对称性，有 


lim E 《打 < lim Er/ 


m? 


n 


m 


于是， （4) 式得证. 

下面的注释往往是有益的. 

注1 非负随机变量的数学期望可以表示为 


E 芩= 


⑹ 


sup 

{ s € 5: 


沒， 


其中 S = { S } 是非负简单随机变童的集合（练习题 1). 

这样,对于非负简单随机变量，定义了数学期望.下面考虑一般情形. 

设之是随机变量，$+ = max (^, 0),^~ = — min (^,0). 

定义 2称随机变量$的数学期望段存 在或有 定义,如果 E 《+ 和 E 中至 

少一个 有限： 


min{E^ + ? Er}< 


oo 


这时，随机变量€的数学期望定义为 


= E 之 

数学期望蛻又称为函数$对概率测度的勒贝格积分,（关于勒贝格积分的其他定义 
方法，见第11小节 


r ， 
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定义3 称随 机变量€的数学期望有限 （或者€ 可 积)，如果< oo 和 


因为 W P + r ， 所以 Ef 有限等价于 E | C | < 00 . (在此意义上按勒贝格可积 
具有“绝对的”特点 .） 

注2 除数学期望 E 《外，随机变量 f 的重要数字特征还有 Ef (如果它存在) 
和 E | e | r , r >0, 并相应地称为随机变量$的 r - 阶矩和 r - 阶绝对矩. 

注 3 在上面给出的勒贝格积分 f Q ^ dP 的定义，曾 假设： 测度 P 是概 率測度 
( P ( fi ) = 1)，而 3 T - 可测函数（随机变量）《在 R = (- oo , oo ) 中取值.现在假设测度 
M 是定义在可测空间怀，）上、且可能取+00为值 的任意 测度，而< =是在 
M = 卜 oo , oo ) 上取值的 采一 可测函数（广义随机变量).这时，勒贝格积分 




用同样的方法定义：首先，对非负简单函数（（按 （2) 式将 P 换成/ X )，然后，对任意 
非负简单 函数匕 一般按公式 


/ 咖 ) "(do;) = [ 

Jn JTi 


€+"(do;) — / ^ _ /x(do;) 


定义，只要不出现 

对于数学分析， ( a ^) - ( R ， 及 ( R )) 且 m 是勒贝格测度; v 的情形特别重要.这 
时，将积分 


的不定式 


00 


记作 


/ C 0 r ) d ； r ， 或 （ L ) / 

JR J- 


(0)dx ， 


以强调它与黎曼积分 


的区别.假如（勒贝格-斯蒂尔切斯）测度对应于某广义分布函数 G = G ( x ), 则积 


分 


⑽ "(d_7T) 


也称做 勒贝格-斯蒂尔切斯积分， 并记为 


( L - S ) / ^) G ( dx ), 


以示其与相应的黎曼-斯蒂尔切斯积分 （见 下面第11小节) 


( R - S ) 


^( x ) G ( dx ) 
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的区别 


由下面性质 D , 可见假如定义了 则对于任何也就定义了数学期望 

e ^/ a ), 亦常使用下列 记号： 


E (《; h ) 或 / ^ AdP , / fdP ， 


其中最后一个积分习惯上称做对测度 P 在集合4上的勒贝格积分 

类似，对于任意测度 / i ， 下面两种表达式 等价： 




仏 d〆 ， 


( d/x 


特别，如果//是 n - 维勒贝格-斯蒂尔切斯测度 , A = ( ai M } 
以将乃写成 


( fln , fen ], 则可 


X 


X 


» » * 


bt 




fbi ， …. ,x n )/i(dxx -^dx n ) 


如果 " 是勒贝格测度，则将 / i(dxi - - - dx n ) 简单写成 do：i 

3. 随机变量€的数学期望 E 纟 的性质 

A . 若 c 是常数 ，且取 存在，则 E ( cO 也存在，并且 


do : 


E (《） = cE ^ 


•若 （ 则 






若 


< Ee ， 则 


— oo 


"且 Ef < E "， 


— 00 < 


或若 E ?? < 00, 则 


< oo 且 E 芝 ^ 




C •若哎 存在，则 


ei 《 i _ 


D ■若叹 存在，则对于每个 A 数学期望 E (^ a ) 存在； 若有限，則 

E (^) 也有限. 


若《和77是非负随机变量，或满足 E |《| < oo ， E | r /| < 00 ,则 


* 


E(^ + r/) = 


(关于这一性质的推广见练习题 2) 

证明性质 A 〜 E 的证明. 
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⑷对于简单随机变量，命题显然.设 c > 0 ;o o，《 n T 纟，其中^是简单随机变 

那么，由于政 n 丫咬，可见 




E ( c ^) = limE ( c ^ n ) = climE^ n = cE ^ 


在一般情形下,需要利用表示€ = r ， 并注意到，对于 c 彡0,(咬)+ =咬+，(攻 )_ = 

夂一，而对于 c < 0, «)+ =—《一，(咬)一=— 

( b ) 若0 < ^ <仏则和 Et7 存在且 Ef < Er /, 由此 （ Q 式得证.现在设 

> - 00 ,则 E < oo ， 若《 （ ％则 亡 + ( 7/ + 和（-彡_因此吻- 彡 Ef 

从而 Er ? 存在，且 


< OQ , 


i = E 《+ — Ef 彡 Ef ) + - Et ]~ = Et ] 


类似地考虑 Er]<oo 的情形. 

( c ) 由于 彡（彡抓 则由性质 A 和 B , 可见 


- E |^| ^ ^ E |^|, 


即 | E ^|^ E | e |. 

( d ) 由性质 B , 以及 


(^ a ) + = ^ + ia ^ (^ a )~ = 


可见 E (^ I a ) 也有限. 

(e) 设 fn 彡 0,7 M 彡0,而 {《 n } 和 { t ] n } 是简单函数序列，且 T €和％ 丁 //. 那 


么， 


E (Cn + ^?n) = E^ n + E ?? n ，且 

E(“ + %) T EG + r?) ， E“ T Ef Er^ T E ”， 

从而 EK + r ?) = + Er /. 对于 E |《| ( 00 , E | t /| < 00 的情形，如果利用 

€ = « e +- r，n = ?? + — ? r , 
e + 彡 KU — < RU + < bU — < w , 


则可以将其归结为讨论过的情形. 

数学期望的进一步性质数学期望的下一组性质 F 〜 J ， 涉及 “ P - 几乎必然” 

的概念.称某一性质 “ P - 几乎必然”成立，如果存在概率为0的集合 ， e 

P ( yT ) = 0 ,使该性质对于每一点 uen - y ^ 成立.与 “ P - 几乎必然” （ p - a . c .) 的 
概念同时，常使用 “ P - 几乎处处” ( P - a . e .) 的概念，或者简称“几乎 必然” ( a . c .), 
相应地简称“几乎处处” ( a . e .). 

F . 若 € = 0( a . c .)， 则 E 《 = 0. 
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事实上，如果€是简单随机变量，€ = E n k = iXkiA k (^)^k ^ 0,则根据条件 
P { A k ) = 0,因此取= 0. 如果€>0且0彡其中 s 是简单随机变童，故 

= 0 ( a . c .), 从而 Es = 0且 


S 




sup Es = 0 

{ ses ： s ^} 


由于 e =《+-《-，且€+彡 |^ U ~ ^ 1^1,而旧= 0 ( a . c .)， 所以，通过极限过度，可以 

将一般情形归结为$是简单随机变童的情形. 

G •若 《 =?/ ( a . c ，)， 且 E |《| < oo , 则 E |??| < oo 且 Ef = Et ? (亦见练习题 3). 

实际上,设，= { o ; : ^ #价,则 P (^) 二0且 

_ 


由性质 E 和 F ，得 


EC = + E ^/Jfr = ^1 Jr = jr 

由于 ^ 7)1 jr = o , 故根据性质 E ， 有 Ef = Er / V + 

H. 若《彡 0 且 E《= 0, 贝 lj $ = 0 (a.c.). 

为证明，记 A = {w : ^( a ;) > 0}, A n = {uj : ^( oj ) ^ 1/ n }. 显然， >!„ T AO < 
Ua 7 , 《江4.因此由性质 B 有 


V 


0 ^ = 0 


从而 


Q = Ea Ari ^- P ( A n ), 


n 


即对于一切 n 彡 l , P ( A n ) =0, 由于 P ( A ) = limP ^4 n ) ，故 P ( A ) 

I ■设 4 和 7? 满足 E |$ < 00 , E | r /| < oo 且对于一切 A G 有 E (^) ^ E ( r ?/ A ), 

证明 ^ < r / ( a _ c .). 

实际上，设 S = { a ; : Ch ) > t ? M }， 则 E ( t*K E ( a s )< E ( t *)， 即 EK / b )= 
E ( t ? J b ). 由性质 E , 有 E ((^- ri ) I B ) = 0; 而由性质 H , 有 K - r )) I B = 0 ( a . c .)， 因此 
P (5) = 0. 

J •设 € 是广义随机变量 ，且 E 旧 < oo . 证明旧 < oo ( ax .). 

事实上，假设4 =卜： | CM | = oo }， 且 P ⑷ > 0,则 EE ⑽以）= 
P ⑷= OG ， 而这与假设 E |(| < oo 矛盾（亦见练习题 4), 


0 


oo X 


数学期望的极 限定理 在这一小节讨论关于在数学期望（勒贝格积分）号下 


4 


番 


的极限过程 


定理1 (单调收 敛性） 设…是随机变量序列. 

a ) 如果对于一切 n > l^ n > 有 Erj > - oo , 且 T 《，则 


ECn T EC 
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b ) 如果对于一切 n > l，《 n < r /， 有 Er / < 00 ,且|《，则 

Efn 丄取. 

证明 a ) 首先假设/?彡 0. 假设对于每一个 A : > 1，简单函数序列当 

时々 ） T Ofc . 记 <( n ) = max Kfc < n d n ) .那么 


n —► 00 


((n-1) 彡（ ㈤ = 


iSSn ^ = “ 


max 

l ^ fe^n 


设 < = lim n ^ n \ 因为对于 1 彡 A ; < 




C (n U & 

时取极限，则对于任意 fc > 1，有 


那么，若当 


n —► oo 


^ < c < ^ 


因此^ = C 


由于(: ( n ) 是简单随机变量且 T 则 


= EC = limEC (n) < limECn 


另一方面，显然，由于^彡 心+1 < 6则 


lim E 匕彡 E 之 


从而 lim E《 n = 


现在假设 7 ?是任意随机变量，且 

则由于性质 B , 可见 E^ n = = 00 ,从而命题得证，设 

得 E |々| 


7] > —0O 


如果 


?7 = oo , 


7 ] < 00 , 

显然，对于一"切 W € Q ，0 ^ — 77 t 


则考虑到关于的假设 

从而，根据上面已证明的结果，有 E ^ n -^ TE ^- r ?), 因此（由性质 E ) 和练 
习題 2) 


7 ] > — 00, 


< oo 




— E ?? T — E77 . 

时 T Ef 

如果将原变量加上负号，则可以由命题 a ) 得到命题 b ) 

系设 { nn } n ^ l 是非负随机变量序列，那么 

OO oo 

n=l n=l 

证明由数学期望的性质 E (亦见练习题 2); 单调收敛定理，以及当 k 


因为 E |7?| < oo , 所以当 


n oo 


□ 


Vn 


时 


— > OO 


k 


00 


n^=l n=l 


即可得到. 


□ 
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定理2 (法图 [ P . Fatou ] 引理）设 W ， 6，&，，.♦是随机变量. 
a ) 如果对于一切 n ^ l,^ n ^ r /, 且 Ery > — oc , 则 


ElimCn ^ 


b) 如果对于一切 n 彡 l ,^ n 彡 77, 且 Er ? < 00 ， 则 


limE^ n ^ Elim 之 


C) 如果对于^ ' 切 77 > 1，< 7 / ， 且 Et ? < OC ， 则 


E lim 《„ ^ limE^ n ^ limE^ n ^ Elim ^ n , 


⑺ 


证明设 Cn = inf m ^ n ^ m , M 


^ = li n m i n / n ^ = I r C - 


明显地 Cn T 且对于一切 n 彡 1 , 有 Cn > V , 那么，有定理 1 ， 有 


Elim^ n = E lim ( n = lim E^ n = limEC ” ( Eiim £ 


从而命题 a ) 得证，由 a ) 可得 b ). 由 a ) 和 b ) 可得 c ) 

定理 3 (勒贝格控制收敛定理）设随机变量??必乂 U &， …满足条件： 

< 00 ,且 ( ( a . c .)， 那么 , E |^| < oo , 




E |《 n | — 


⑻ 


， n — oc , 


且 


E|《 n — Cl — 0， 

I 

证明根据假设 lim & = Hm^ n = ^ ( a . c .)_ 因此，由性质 G 和法图引理（命题 


⑼ 


n — oo 


c )) 


= Elim^n ^ limE & = limE^ n = Elim ^ 






因而⑻式得证.显然 ， iei < r ?, 所以 E |$ 

只需注意到 I 匕 -eK 2 r ?, 即可证明命题 （9). 

系设随机变量7?，6 6,6,…满足条件： |《 n | < V,in — € ( a . c .), 且对于某个 

时 E|^n ~ Cl 


< OO 


p > 0, Er/ P < oo , 则 E|^| p < oo , 且当 

为证明此系，只需注意到 ， M < t ? 和 


p 


0 


n — > oo 


| 《 n—T<(|<en| + W) P <(2#. 

在法图引理和控制收敛定理中，保障公式 ⑺〜⑼ 成立的条件“|^| <7 7 , Et ? < 
可以略为减弱.为表述相应的结果（定理4)，现在给出如下定义. 


OO , 
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定义4 随机变量族称做（对测度 P ) —致可积的，如果 


|^ n |P(du) 0, 


( 10 ) 


sup 




或（在其他记号下) 


supE [|^ n |7 {( ^ [>c} ] —0 ，c — 00 , 


( 11 ) 


显然，如果随机变量 Cn ， n 彡 1满足条件 U < aEt ? < 00, 则随机变量族 {Cn}n>l 

是一致可积的 • 

定理4 设随机变量族 { in } n ^ l 是一致可积的. 
a ) 那么 


Elim^ n 彡 limE & ( limE€ n = Elim 《 


b ) 此外，如果& — f (& c .), 则随机变量 f 可积，且 


in 


n — > oc , 


E|《n — (I — 0, 


证明 a ) 对于任意 c > 0,有 


ECn = E ^ n J ^ 


( 12 ) 


C } 


<- 


由于一致可积性，对于任意5 > 0,可以选择充分大的 c , 使 


sup[EC n / {Cn< ^ c} | < 


(13) 


6 


由法图引理，可见 


^ Elim 匕 J { p— c} 


因为 


Xn ， 所以 


{ Oc } 


> ElimC 


(14) 


由（12)~(14)式可得 


limE^ n ^ E lim 石 


— £ 


由于 £> 0 是任意的，可见 limE^ n > Elim^n _ 

类似地，可以证明: limE^n < EUm ^„. 

至于命题 b ), 则其证明与定理3相应命题的证明相同 

下面的定理，更完整地揭示了控制收敛定理的意义，并给出了在数学期望号下 
取极限的充分和必要条件. 


□ 
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定理5 设0 < & — €( P — a . c .)， 而 E^n < oo . 那么， 

必要条件是：随机变量族 {^} n>l 一致可积. 

证明由定理 4 的命题 b ) 可见充分性成立.为证明必要性，考虑（有限或可 

数）集合4 = { a : P 伏= a} > 0}. 那么，对于每一个 a 多 A ,^ 

并且随机变童族 {^n/^ n <a}Wl 一致可积.因此，由于“充分性”知，对于每一个 

ai AMnI { U < a ) - EC/ {e<a}? 因而当 


^ < oo 的充分和 




^{$<a} 


<a} 




时 




rs 


(15) 


固定 5 > 0,选取充分大的勿赛 A 使 E^/ { ^ ao} < e / 2 ; 然后选取 TVo, 使对于一 
切 n 彡 7V 0 , 有 


S 


ECn 了 {&>a。} < E ^{^n^a 0 } + 

最后,选取充分大的 


2 


因而 E^ n / {$ 
< £. 那么， 


> 叫，使对于一切 n < N 0 E ^ n I { ^ n>ai} 


cii 


^a 0 } 


supEe n /{^^ ai } 彡 & 


于是， Un}n^l 的一致可积性得证. 

5. 一致可积的准则首先指出，如果随机变量族 { Cn } n^l 一致可积，则 


□ 


supE |^ n | < 


(16) 


实际上，对于固定的 £> 0 和充分大的 c>0, 


SUpE|£ n [ = SUp[E|en|/{|&〜} + E |^ n |/ {SeTi | <c} ] 

n n 

彡 supE |^ n |/{|^|^ c > + supE |^ n | J {j ^| <c} 彡 s + a 


因此 （16) 式 得证. 

结果表明，条件 （16) 连同所谓“一致连续性”条件，是一致可积性的充分和必要 


条件 


引理 


随机变量族 Un } n^l 一致可积的充分和必要条件，是 E |( n |( n 彡 1) 
一 致有界（即 （16) 式成立）和 E {\^ n \ I A }(n ^ 1) 一 致连续（即当 P ( A ) 


0时 


sup n E {|^ n | J A } — 0 ) 


证明必要性.上面已经验证过条件 （16). 其次，有 


E{|^n|/>l} = E{|^ n |/ j4n ||^^ c j} +E{|^ n |/ An ^ fn [ <c j} 

彡 E {| 匕|々匕| 如 } } + cP ( A ). 


( 17 ) 


选择 c 充分大，使 


£ 


supE {|^„| ^ ? 


2 
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那么，如果 P ^4) < ^/2 c , 则由 （17) 式，可见 


supE {|^ n |/ A } ^ 


£ 


因此必要性得证. 

■ 

充分性 _设 e > 0, (5 > 0,由条件 P ( A ) < 5,对 n —致，有 E {\ i n \ I A }^£. 因为对 
于任意 C > 0， 


E l^n| > ^ cP{|^ n | ^ C} 


(对照切比雪夫不等式)，所以 


SUpP {|( n | ^ ^ - SUpE | Cn | — 0, C — OO 


因此， 对于充分大的 C , 作为集合4可以取集合{匕|彡 4( n 彡 1) 中 的任意一个.于 
是,一致可积性得证. 

下面的引理给出了便于应用的一致可积性的充分条件. 

引理3 设6,6,…是可积随机变量序列，而 G = G ( t ) 是定义在 [0, oo ) 上的 
非负增函數，满足 


□ 


G ( t ) 


lim 


(18) 


= oo , 


supEG (|《 n |) = oo 


(19) 


那么，随机变量族 一 致可积 
证明设£ > 0， 


M 


M = supEG (\^ n \), a =~. 

71 £ 

取 c 充分大，使对于 t > c ， 有 G { t)/t ^ a . 那么，关于 n 彡1 一致有 


M 


Ct tb 

独立随机变量之积的数学期望 如同第一章§4第5小节，对于《和7?是独 

立简单随机变纛的情形，证明了 x E ^. 现在证明类似命题的一般情形（亦 

见练习题 6). 

定理 6 假设之 和7?是独立随机变量，且 E|f| < CX),E|7/| < DO* 那么， E|(7?| < oo, 


□ 


=e 


« 


且 


《V = Ef x E" 


( 20 ) 


证明首先，假设 O 0,;? >0 .记 

OC k oo 

^ = S n J {^^<^} >77n = S 


k 


— I 


U 幼<手}， 


n 




k —0 
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贝 1 J d |6i -< l/n 和 T7 n 彡？?， |?7n -7?| ^ l / n . 由于 < 

贝格控制收敛定理， 


77 < 00 ,则根据勒 


00 , 


limE^ n = E ^, lim E ? 7n = E77 


n 


n 


其次，由于《和 I ? 独立性，当 


时，有 


71 — 00 


kl 






2 


n 


k ， l>Q 


kl 


E 


-rE/ 


x El 


x E ? y n 


} 


{><¥} = 


k 




2 


n 


71 


n 


k 於 Q 


因此，当 


时，有 


n — ^ oo 


|E0 - E^r/ n | < E|^ - “ n |< m\v ' r?n|] + 則加 |《 - 


彡 - E ^+ - 


0. 


Tj H — 


― > 


n 


n 


n 


于是, 


E ^7? = limE^ n rjn = limE^ n x lim % = x E77 , 


71 


n 


n 


并且 E ^< 

如果利用关系式 


oc . 


， ❹ r " + - e v+n 


T ) = ry — r ] 


则一般情形可以归结为上面讨论的情形 

与数学期望有关的不等式 现在证明与数学期望有关的若干不等式，这些不 
等式在概率论以及数学分析中都有系统的应用，其中许多已经在初等概率论中介绍 

过（见第一章§ 4 和 §5). 

切比雪夫不 等式. 设 f 是非负随机变量，则对于任意 e > 0 , 有 


□ 


7 


_ 




( 21 ) 


£ 


证明易见 


EO EK/ { ^ £} ] > eBI { ^ €} ^ eP 代 > e }， 

由此立即得不等式 （ 2 1). 由不等式 （21), 可得切比雪夫不等式的如下等价 形式： 如果 

是任意随机变量6则 


2 




( 22 ) 


€ 2 


和 


P {|^- Ee|>eK 導 


(23) 


£ 
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其中 D( = E(€-E0 2 是随机变量 （ 的方差， 

柯西-布尼亚科夫斯基不等式假设对于随机变量 f 和 vM 2 < oo , Er } 2 < 

那么， E |^ y | < 00 且 


oo 


(E| ⑽ 2 < E《 2 x E V \ 

证明假设取 2 >0，£/7 2 >0.那么，记 


(24) 




1 


V = 


㈣ ， 


vW ’ 


贝!1由2所 | < <^ 2 + T； 2 , 可见， 


2E| 沒 K E? + E 铲= 2, 


即 E| 洌< 1，由此得不等式 （24). 

假如 E《 2 e 0,则根据性质1，《= 0 (a.c.), 而根据性质 F, = 0,于是,不等式 

(24) 仍然成立. 

延森 （I. L. Jencen ) 不等式设对于 x eR,g = g ( x ) 是凹（亦称下凸）博雷尔 

函数，且 E|e| < 


那么， 


OO, 


9(^) ^ Eg(C) 

证明由于 g = g { x ) 是凹函数，故对于每一点 x 0 G R， 存在 X ( x 0 ), 使对于一切 


(25) 


x e R , 


9 (^) > 9 (^ 0 ) + (X - Xq)\(x 0 ) 


(26) 


设: r = ( 和吻= E(， 则由 （26) 式可见 


旅)>5间 + 0 t - eoa ( eo . 

于是，在上式两侧同求数学期望，得 Eg (0 ^ g ( EO . 

由延森不等式可以导出一系列有用的不等式.下面举几个例子. 

李亚普诺夫不等式对于 0< s< 纟，有 




mn l/s ^ 剛 


(27) 


易见， 若记 r — t / s , r ] ^ |^| s , 并在延森不等式中设 〆 or ) = K， 则得 | E " 




E|#， 即 


(m s r /s < Eier, 


由此立即得不等式 (27). 

由李亚普诺夫不等式，得如下绝对矩之间的一系列不等式 


旧彡 ( E | e | 2 )" 2 《…彡 洱，)" 


( 28 ) 
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赫尔德 （CK L Holder ) 不等式 设 1 < p < 00 ,1 < g < 00 且 1 /p + 1 /g = 1 
如果 E|^| p < og ， E | t ? 卜 < 00 , 则 E |^| < oc 且 


(29) 


证明如果 E|^|^ = 0或 E|r^ = 0,则立即得不等式 （ 29 )， 就像柯西-李亚普 
诺夫不等式的情形一样 （当 ^ 9 = 2时,赫尔德不等式就是柯西-李亚普诺夫不等 


式) 


现在设 E | 卬 >0， E |#>0, 记 




V 




m \ p ) i/p ' 


不难证明不等式 


x a y b < ax + by, 

_ 

其中 x >0,2 / >0, a >0,6>0 ,a + 6= l , 实际上，由对数函数的凸性，可见 


(30) 


\n(ax + by) > aln x + bln t / = In x a y b ; 


经对数还原，立即得 （30) 式. 

在 (30) 式中设 a ; = = l / p ，6 = 1/ g ， 得 




p 


Q 


1 


E 沉彡 —Ef + —E 沪 




P 


Q 


P Q 


于是， （29) 式得证 

岗可夫斯基 （ r . Muhkobckhu) 不等式如果 E|《| p < 00, E |/ 7| p < 00 , 1 < p < 00, 

则 E |《+ ， < oo ? 且 




( ei ^+ v\n 1/p ^ (m p ) 1/p + mv\ p ) 1/p 


(31) 


证明首先证明如下代数不 等式： 如果 a , 6 > 0和 p > 1，则 


(a + bf < 2 v ~ l (oP + b p ). 

1 

实际上，考虑函数 F(x) = (a + x)p - 2 P~ 1 (aP + x p ). 那么 

F f (x) = p(a + x) 

而由于 p 彡 1, 可见对于； r < = O^F^x) > 0, 而对于 :c > a , F r ( x ) < 0. 因此, 

F ( b )^ 


(32) 


— 2 卜 V p —\ 


P—1 


^ F ( x ) = i ^( a ) — 0, 


max 


§6. 勒贝格 积分. 数学期望 


203 


从而不等式 （32) 得证. 

利用不等式 （32)， 得 


1( + # < ( I 糾，< + |，） 

因此，如果 E 阶 < oo，EK < oo , 贝! J E |《 切|，< 

如果 p = 1,则由 （33) 式可得 （31) 式. 

现在假设 p > 1. 取 g > 1,使 l / p + 1 /g = 1,则 

1^ + # = 1C + 7/114 + + 7/1 卜 1 + wi《 + vrK 


(33) 


OO 


(34) 


因为 — i)g = p , 所以 


EdC + ^ r ' l ^ EI ^ + r/l 


p 


< OO. 


因此，由赫尔德不等式，有 


^(\m+vr 1 ) < mn 1/p m^ v\ (p ^ 1)q ) 1/g = (m p ) 1/p m+v\n 1/g 


同样可得 


e ( wie+ vr l ) ^ (mn 1/p m+v\n 1/q 


从而，由 （34) 式有 


E|^ + ^ ^ (E|e + [(E|Cr) Vp + (B\r]\ p ) l/ ^ 

如果 E|C + #= 0 ? 则欲证明的 （ 31 ) 式显然，现在假设 ER +， > 0 ,则由 （ 35 ) 


(35) 


式可见 


[( Ei ^ n i ^ + ( E |#) 1 /^] 


(Ele + O 1 - 1 /g 

于是，由于 1 - 1 /g = 1/ P , 得所要证明的 （31) 式. 

拉东-尼科迪姆 （ J . Radon - O . M . Nikodym ) 定理设随机变量$有数 

学期望 Ef 那么，由性质 D ， 决定一集函数 




□ 




Q ( A ) = / ^ dP , 


(36) 


A 


现在证明，该函数是可教-可加的， 

h 

首先假设$是非负随机变量. 若木, 冯,…是，中的两两不相交集合，记 
A = Z ^ n , 则根据定理1的系，有 

. Q (^) = E (^ i 卜 E (^ An ) = ^ A n ) - 

如果 C 是有数学期望的任意随机变量，则由下列关系式 （ a ) 〜 ( c )， 可见函数 Q ( A ) 
的可数- 可加： 
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( a ) 表现 


Q 04) = Q + (4- Q —(4, 


(37) 


其中 


f e + dP , Q -( A )= f 

J a Ja 


Q+(yl )= 

(b) (上面已证明的）非负随机变量的可数-可 加性； 

(c) min{Q+(Q)，Q_(J1)} < 

这样，如果存在，则函数 Q = Q ( A ) 是带符号的测度，即可表示为 Q 
Qi -Q 2 的可数-可加集函数,其中测度仏或 Q 2 至少有一个有限. 

现在证明，函数 Q 二 Q ( A ) 具有如下重要 性质： 关于测度 P 绝对 连续： 


rdP ; 


oo 


如果 P04) = 0 ,则 Q04) = 0 ， (AeJ^) 


(该性质简记为 Q《P). 

为证明这一事实，只需考虑非负随机变量的情形.如果 


^ —〉二 


fc=l 


是简单非负随机变量，且 PC = 0,贝 Ij 


卩⑷ = E(O0 = L n 乂） 

如果 {UnW 是非负简单函数序列，且 U > 0,则根据控制收敛定理，有 


0- 




Q(A)= E(^/a) = limE(^/ An ) = 0, 

因为对于任何 n 彡 1 及使 P ㈤ = 0的 A , E (^ n I An ) = 0. 

于是，勒贝格积分 ^ 


Q ⑷ 


碑， 


A 


作为集合 Ae ^ 的函数，是关于测度 P(Q 《 P) 绝对连续的带符号的测度.非常值 

得注意的是逆命题也成立. 

拉东-尼科迪姆定理设 ( fi , 是可测空间，/2是 C7- 有限測度，而 A 是关于 

/X绝对连续的带符号的測度（即 A = Ai - A 2 , 其中测度 Ai 或 A2 至少有一个有限). 

那么，存在在 ]R = [—oo,oo] 上取值的 ^ — 可測函数/ = /( a )， 使 

入⑷=/ / M //( do ;), A € ^ . 

J A 

函数/ = /0^)精确到 //- 测度0唯一：倘若 /i = h ( cj ) 是另一 —可測函数， 


(38) 


使 


A ⑷ 


h ( cu ) fi ( du )) , A G ^, 


A 
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•} fJt{u) : f(uj) 7*^ A(^)} = 0. 

如果 M 是测度，则/ = /(^)的值域为 

式 （38) 中的函数/ = /&), 称做拉东- 尼科迪姆导數，或测度 A 关于测度 
的密度，并且记作 


= [0, oc ]- 




dA 


dA 


——或 ~(uj) 
d/Z d/Z 

这些导数的一系列性质，将在下面的§7中第8小节介绍.特别指出§7中的公 
式（35)，在置换测度的情况下重新计算数学期望时常要用到. 

具体地说，设 P 和尹是两个概率测度， E 和6是相应的数学期望.假设测度 P 
关于测度 P 绝对连续 （ f 《 P ), 那么，对于一切非负随机变量 < = 《( u ;)， 有如下“数 

学期望换算公 式”： 


dP 




(39) 


在不假定随机变量 c 非负的情况下， 数学期望换算公式仍然 成立：在随机变量 

《关于测度尹可积，当且仅当随机变量^关于测度 P 可积; 这时 （39) 式成立. 

公式（ 39 )的证明并不 复杂： 对于简单函数 C 它可以由导数 dP/dP 的定义 得到; 

对于非负函数$首先，由§4定理1的 b ) 可见，存在简单函数匕 U(n — 00); 其次, 

利用由§ 4 中单调函数收敛的定理1的 a )， 即可证明 （39) 式.如果$是任意随机变 
量,则根据 （39) 式，有 


dP 


对测度？的可积性”与 ^( dP / dP ) 对测度 P 的可积性”等价.至于公式 （39) 本 
身的证明，只需要考虑表示 ^ = 即可. 

这里不加证明直接引用的拉东-尼科迪姆定理（例如，其证明可以参见[70])， 
将在 （§7) 建立条件数学期望时起关键作用. 

9. 勒贝格积分中的变置替换如果 




是简单随机变量,^ = { a ； ： e = xa } 贝！] 


^ 9(0 = y^ff(^)P(A) = y^ff(a?j)AFg(a; i ). 

换句话说，为计算（简单）随机变量的函数的数学期望,没有必要直接利用全部概率 
测度 P ， 只需知道概率分布巧，或等价地只需知道随机变量^的分布函数 

下面的定理归纳了这一性质. 
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定理7 ( 勒贝格积分中的变量替换） 设炖叉）和 ( E ,^) 是两个可測空间. 

x ( uj ) 是以瓦为值域的可测函教 . p 是上的概率測度 p x 
是由 X = X ( u ) 诱导的 （ E , 篆）上的概率 测度： 


X 




Px(A) = P{w: X(lo) €A},Ae^. 


(40) 


那么，对于任意篆—可测函数 5 = p ( x)，:r G ^， 


/ g { x ) P x ( dx ) = / 

Ja J ) 


9(X(u^))P(dLj), Ae^ 

X- 1 (A) 


(41) 


(其含义是：如果有一个积分存在，则另一个也存在，并且二者相等) 


证明设集合 4 e 罗和 Wx ) = i b ( x ) 7 其中 s g K 那么， 欲证的关系式 （41) 


变为等式 


Px(AB) = X-^B)), 

其正确性由 （40) 式和 X -\ A ) n X -^ B ) = X~\A n B ) 可见. 

由 （42) 式可见 ,（41) 式对于非负简单函数 0 = pOr ) 成立,而由单调收敛定理知， 
(41) 式对于任意非负篆-可测函数成立. 

而对于一般情形，需要将函数分表示为 g + _ g -' 注意到,因为 （41) 式对于函数 
和 f 成立，而且例如，若 


(42) 


g + ( x ) P x { dx ) < 00, 


则 


ff +(X(o;))P(da ； )<oo, 


义一 1 ⑷ 


说明若 


J g ( x ) P x { dx ) 


存在，则积分存在 


g ( X ( u )) P ( du ;) 


□ 


x- l {A) 


系 （五 ,( T ) = ( R ，^( R ))， 而（ =《(0；)是概率分布为的随机变量 • 那么，如果 
g = g ( x ) 是博雷尔函数，而积分 


J p ⑻ Pe ( da O 或 J 


辦 M ) p ( du ；) 


疒 1 ⑷ 


存在，则 


j g { x ) P ^{ dx ) = j 


5( 咖 )) P(M 


C - 1 ⑷ 
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特别，当欠时得 


/ = / 9(x)P^(dx). 

Jq Ju 

测度巧 可以唯一地由分布函数还原 （§3 定理 1). 因此，勒贝格积分 

| 

f 5㈤ A(da;) 

JR 


Eg ( C ( uj )) 


(43) 




常记作 


f 分⑻即如）或 [ 

Jm Je 

并称做（关于分布函数 F ^( x ) 所对应的测度的） 勒贝格-斯蒂尔切斯积分. 

考虑分布函数 F ^( x ) 有密度 f ^ x ) 的情形，即 


9^, 


秘）= 




(44) 


oo 


其中 A = 咏) 非负博雷尔函数，而积分是集合 (-00, x ] 上关于勒贝格测度的勒贝 

格积分（见第2小节注 3) .在 （44) 式的记号下 ， （43) 式有如下 形式： 

_ 

= I 

其中的积分是函数 g ( x ) f ^ x ) 按勒贝格测度的勒贝格积分.事实上，如果 #(： r ) = 

Ib ( x ) 7 Be a ( R ) ，则 （45) 式有如下 形式： 


g ( x ) f ^( x ) dx ^ 


(45) 


P 仲）二 / e ( x ) dx，Se 及 ( R )， 


(46) 


其正确性由§3的定理1和如下公式可见 


秘）一 巧⑷ 


f ^{ x ) dx . 


一般情形的证明，与定理7的证明相同， 

10. 傅比尼 （ I . L , Fubini ) 定理考虑带测度"的可测空间其中 n = 
^1 x ^ 而测度 M x f i 2 是有限测度妁和奶的直积，即在 ^ 

上的 测度： 


"1 X /X2(A X B) = "i(A)" 2(B)，A G i, B G ^2 

(由下面将要证明的定理 8, 可见这样测度的存在性). 

下面的定理有重要意义，就像数学分析中关于 “二重黎曼积分化 为二次 积分” 的 
著名定理一样_ 
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定理8 (傅比尼 定理）设（=«叫# 2 ) 是 ， i -可測函数，并且关于測 

度糾 X / i 2 可积： 


|^( aj 1? a ；2)| d(/ii X fl 2 ) < 


(47) 


00 


X fi2 


那么，积分 


咖 1，山 2) Mi ( dcJi ) 和 


咖1，奶)阳(心2) 


fix 


O2 


1) 对于 吟一 几乎一切0；2和 fJL \- 几乎一切 A 有定义; 

2) 是^和多、-可测函数，并且相应地 


| 《 (u; 1 ， u; 2 )|/ii(da; 1 ) 


= 0 , 


"2 1 W 2 : 


= OO 


Qi 


(48) 


\^(u)i,U 2 )\fJi2(du ； 2) = 


= 0 ; 


s Wi 


00 




3) 


^(^ x , o ；2) d(//i X fl 2 ) 二 


咖 l 々2)"2( dw 2 ) ^ l ( dui ) 


X O 2 


Q 


^2 


C (山 1，^2)"1(如） M 2( do ； 2 ) 


(49) 


n 


fil 


证明⑴ 首先，证明对于任意固定 4 的函数 uM = ^( wi , u ；2) 是 

^2 - 可测的. 

设 F 1 ® 2和 ^(^1 , ^ 2 ) = ^ u )\ = {^2 ^ ^2 - ( c ^ i , OJ2 ) ^ -^} 

为 F 在点 un 处的 截线， 并设酽 = {F ： F WI e ， 2 }. 需要证明对于任意 

t 

如果尸= 4 x 5, 乂 € ，丑 e 则 


uji ^ 

0, Wi i A . 


{A x B )^ 




因此，具有可测边的矩形属于 r wi . 其次， 如果 F e ，，则 {FU = ^ 而若 
{ P } ny 是 F 中的集合，则 ( U ^)^ = u ^* 由此可见 

现在假设 a ^ l ^2) > 0. 那么，由于对于每一心，函数 ( u 2 ) = <^(0^0； 2 )是 
^2- 可测的，则积分 


咖 i ， W 2)"2( do ; 2 ) 


Q2 


有定义.现在证明该积分是 ^ i - 可测函数，且 


咖 l ， W 2)"2( do ；2) Mi ( du ； i ) 


€(Wl ， ^2)<i(Ml X M2). 


(50) 






n x xf >2 
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^2,则由于 Iaxb (<^1^2) = 


假设《 ( 外的）二 I AxB (^ 1^ 2 ),A e ^lyB 

Ja ( Wi )/3(^2)，可见 




Iaxb{^1^2)^2{^2) ~ I /B(W2)"2(do ； 2). 


(51) 


f ?2 


ri 2 


因而， （51) 式左侧的积分是可测函数， 

设 €(u；i，a；2) = a；2), F G — f 2,证明积分 


/( a ； i ) = / W 2) M 2( da ；2) 


a 


可测.为此,记酽 ={F G 贫： /(A ) 为 可测 }. 由于已经证明集合 AxB 

属于纪， （A 叉 2 ),说明由这样集合组成的代数 J 也属于由单调收 

敛定理可见，集系酽是单调类，故 f 是含妒的最小单调类.所以，由于包 

含关系 ^ c r C 以及 §2 定理 1 ，可见， = a(^) = Ai(^) C ^i(W) = r Cjr, 

最后，如果 ^i,^ 2 ) 是任意非负 災- 可测函数，则由单调收敛定理和§4定理 
2 , 可见下面积分的 — 可 测性： 


咖 i ， u ；2)"2( da ；2) 


fi 2 


现在证明，定义在 f 2上，且具有性质 ：^ = fzi x // 2 (^4 x B ) = 

Mi(A)/i 2 (B),4 eJ^uB € *r 2 , 的测度 /i = ^1 X M2 , 测度确实存在而且唯一.对于 


f 4 F ) = 


^ 2 (^ 2 )] Mi ( daJi )* 


02 


如己经证明的，上面的二次积分中里边的积分是可测函数，因而集函数 ix { F ) 
确实对 FeJ ^ 有定义.显然，若 F = A X B， 则 xB )= 糾 (^4)的(3)•设 { F n } 

是义 中两两不相交的集合，则 


hn (W2)M2(da ； 2) /ii(da ； i) 






心％ ( W 2) M 2( da ；2) 


E 乂 [乂 /f -i 


/ ii ( da ； i )= I > (尸) 


于是, M 是，上的有限）测度. 

由卡拉泰奥多里定理,可见该测度是唯一具有性质 MA XB ) = ^{ A )^{ B ) 的 


测度 
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现在证明 （50) 式.如果€(心，吻）贝 ! J 


Iaxb (^\^ 2)<^(^1 X "2) = ^1 X "2(乂 x B ), 


(52) 


Qi xn 2 

而由于 iAxB ( Wl , W 2) = 44(^1)化0^2)，可见 


奶）"2(心2) ^ i ( da ； i ) 


^2 


r^i 


^4(^1) / 6(^2)"2( 如 2) Mi(da ； i) = /a 1 (A)fi 2 (B). 


(53) 


n ] 


£"^2 


根据测度 Ml x / i 2 的定义 


"l X "2(4 x B) = fii(A)fi 2 {B), 

由 （ 52 ) 和 （ 53 ) 式，可见对于 ^ l , CV 2 ) = h X B ( a ； l ， U ； 2 )， 式 （ SO ) 成立. 

现在设€(0^0； 2 ) 二 集合的函数 


MF) = 


/厂(外 a ； 2 )d(/i! x " 2 )， F 


o 1 x 1^2 


显然是 tr - 有限测度.不难验证，集函数 


(尸卜 


(^1,^2)^2(da; 2 ) ^i(diVi) 


1/ 




n 2 


也是这样的测度.上面己经证明，测度 A 和"在形如 F = Ax B 的集合上重合， 

因此也在代数^上重合.由此根据卡拉泰奥多里定理，可见测度 A 和//对于一切 
Fef 重合. 

( ii ) 现在证明傅比尼定理本身的命题•由 （47) 式，有 


^ + (a ； i,a ； 2 )d(/ii x ji 2 ) < oc, 


x fi 2 ) < 


OO - 


r?i xf?2 


Qx xf} 2 


由已证明的知，积分 


芒 +( U ； 1 ， UJ 2 )// 2 ( dcc ；2) 


^2 


是 A 的， r 可测函数，且 


f + (u ； i ， a; 2 )M 2 (da; 2 ) /^(dwi) = 


^ + (uJi,uj 2 )d(fii x ii 2 ) < 


00 , 


^2 


S ^2 


Sll xfi 


因此，由练习题 4 (亦见第 3 小节的性质 J ) 


dwi ， U2)/x 2 (da ； 2) < 00(01 — sue*) 


4^2 
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同样， 


f "( o ； i ， a ； 2 )" 2 ( da ； 2 ) < 00(^1 - a . c .), 


^2 


从而， 


4(C^l ， 0 ； 2)|/^2(<^2) < oo(//i — a.c.) 


f ^2 


显然，除测度川为 0 的集合，外，有 


^(o；i ,0^2 )/^2 (^0；2 ) = / i + (^UU ； 2 )^2{^2) 


C (^ 1 ^ 2 ) ^ 2 (^ 2 ) 


(54) 




Q 2 




n 2 


假设其中对于 w e #，积分等于 0 ,则可以认为 （54) 式对于一切叫 e %成立.那 
么，考虑到 （50) 式，将 （54) 式对测度 Ml 积分，得 


咖1，^2)02(心2) / il ( d ( Ji ) 


fil 


q 2 


^ + ( u ； i r u ；2)/ i 2( du ；2) / il ( dcJi ) — 


C{^i^2)fi2{du) 2 )\ m(dwi) 


fil 


Q2 


Q x 


a 


C + ( a ； i , u ； 2 ) d(^i x / i 2 ) 


^( a ； i ? a ； 2 ) d(/xi x / i 2 ) 




Hi xH 2 


fil Xil2 


C (^ i ^ 2 ) d(/ii x / i 2 ). 




类似地证明 （48) 式第一个关系式和下面的等式 


咖 i 〜 2 ) d("i x " 2 ) = 


C(a ； i,a ； 2)/ii(da; 1 ) fi 2 (da; 2 ). 


□ 


rij x Q2 




fix 


系如果 


|((Wl ， W2)|"2(da ； 2) < 00, 


fii 


S 12 


则傅 比尼定理的结论仍然成立. 

事实上，由条件 （50) 可见 （47) 式， 因此傅比尼定理的一切结论仍然成立 

例设随机向量（^)有二维概率密度2/)，即 

P{K ， v ) eB }= f / e ， ”( ； r ， y ) dxdy , B G 及 (R 2 )， 

Jb 

其中 fU ^ y ) 是非负方 ( R 2 )- 可测函数，而积分是对二维勒贝格测度的积分 

我们证明，€和 T ? 的一维概率分布也有密度 々⑷和 f ^ y ), 并且 

fd x ) = 


hn ( x yy ) d VJv ( y ) = 


} tv ( x , y ) dx , 


(55) 


事实上，如果 A G 及 ㈤ ，则根据傅比尼定理 


P{^eA} = r{(Cr i )€AxR} = 


f ^ v ( x , y)dxdy = 


乂 XK 
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因此，说明€有概率分布密度，而 （55) 式的第一个公式得证.类似地可以证明 （55) 

式的第二个公式. 

根据§5的定理，随机变量 （和 独立的充分和必要条件是 


F^ v (x,y) = F^(x)F v (y),(x,y) e M 2 . 


现在证明，当随机变量^和有联合密度 / M ( x ， y ) 时，它们独立的充分必要条件是 

fiv ( x ， y ) ^ fd x )fM 

(等式应理解为关于二维勒贝格测度几乎必然成立). 

实际上，如果 （56) 式成立，则根据傅比尼定理，有 


(56) 


^ lV ( oo , y ) = 


/^( s.^dsdt 


fd s )M f ) dsdt 


(― oojx] x (― oo,y 


(-oo,x]x(-oo,y] 


fd s ) ds 


A ⑴叫 = F ^{ x ) F v ( y ), 


( — OOyX 


(-⑺ ， y : 


从而（和 77 独立. 

相反，如果《和7/独立，且有联合密度则仍根据傅比尼定理,有 


f^ v (s,t)dsdt 


fd s ) ds 


fv (⑽ 


(_oo ， x] 乂 （一 oo，y 


( — oo,x 


(-oo y y] 


Ms)f n (t)dsdt 


(一 oo ， x]x(-oo,2/j 


由此可见，对于任意 S e j ( R 2 ), 有 


f fc(x)f v (y)dxdy, 

Jb 


f^ v (x,y)dxdy = 


则有性质 I ，易见条件 （56) 成立. 

11 . 勒贝格积分和黎曼积分的各种定义及其关系这一小节，将要讨论勒贝格 
积分和黎曼积分各种定义的问题，以及它们之间的关系. 

首先需要指出，勒贝格积分的构造，与需要积分的函数定义在什么可测空间 
(0,^) 无关.然而黎曼积分，对于抽象函数根本没有定义，对于空间0 = 

情形，则依次 定义: 首先对 R 1 定义,然后随着相应的变化，依次对于 n > 1的情形进 

行移植. 


的 


应该强调，黎曼积分和勒贝格积分的构造，基于不同的思想基础.构造黎曼积分 
的第一步,将 a ： € 1 R 1 点按其在 x 轴上临近程度的特征进行分组.而在构造勒贝格积 
分时，则将 xeU 1 点按另一种特征 分组： 按被积函数值的临近程度进行分组.这两 

种不同处理方法的结果，使仅对于不“十分”间断的函数,黎曼积分的积分和才有极 

限; 然而，勒贝格积分的积分和,却对更广泛的函数类收敛于极限值. 
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回忆黎曼-斯蒂尔切斯积分的定义.假设 G (0：) 是 R 1 上的某一广义分布函数 
(见§3第2小节)，//是与其对应的勒贝格-斯蒂尔切斯测度,而 p = Wo :) 是在 E 间 
[ a , 6] 之外为0的有界函数. 

考虑区间的分割9=^0,…， x n } ，其中 


a ~ Xq < xi < 


< x 


• • * 


n 


建立上积分和与下积分和 


n 


n 


^ i—l 0> — i=l 


其中 


g ( y ). 


inf g ( y ) 

x^i<y^Xi 


9 i = 


sup 

工 i 〜 1 


9 ,= 


定义简单函数如 ( x ) 和 g ^( x ), 并对于< a ： 彡而，设 

9 A x ) = =9 V 


并设办⑷ = g ^{ a ) = g ( a ). 那么显然，与根据勒贝格-斯蒂尔切斯积分的构造（见 

第2小节的注 3), 有 


6 


E = (L — S ) 


g ^( x ) G { dx ) 


a 




和 


E =( L ~ S)f 

—— Ja 


g ^>( x ) G ( dx ) 


0> 


现在设 {^ k } 是分割序列，满足沪 fc Q 沪 fc +1 , 且对于= { x ( 0 k \ ^ , xk % 当 

A ; — oo 时 

如果 i^)i 则根据控制收敛定理，有 

lim [ = (L — S ) f g ( x ) G ( dx ), 

k-^oo^ J a 

fc 

lim X>(L — S ) f g ( x ) G ( dx ), 

k ^°°=- Ja — 

其中歹 ㈤ = ^ k 9 ^ k ( x ), g ( x ) = \ im k g ^ k ( x ). 

如果极限 \ im k m limfc ^ 备限，相等，其共同值与分割序列{^}的选 
择无关，则称函数9 = 〆 ：!：）黎曼-斯蒂 fc 尔切斯可积，而它们极限的共同值记作 


W _ x 严 


I — 0.那么，如！ >如 2 彡. •.彡 分彡 ... 彡私 彡 ㊆ ，且 

2 1 


|x 


max 

O ^ i^nk 


i+1 


t 


(57) 


b 


( R — S )/ g ( x ) G ( dx ), 或 （R — S ) / g ( x ) dG ( x ). 


(58) 


a 


a 
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当 G ( X ) = X 时，该积分称 做黎曼积分， 记作 

(R) [ g ( x ) dx . 

J a 


现在假设 


(L — S) / g ( x ) G ( dx ) 

J a 

是相应的勒贝格-斯蒂尔切斯积分 （见第 2 小节，注 3). 

定理9 如果函数分 = £f(:c) 在 [a，i>] 上连续，则它黎曼-斯蒂尔切斯可积，且 


b 


b 


(R —S) / g ( x ) G ( dx ) = (L ^ S) / g ( x ) G ( dx ) 

^ <x J a 

证明 由于函数分 = 分 ㈤ 连续，可见歹⑻=分 ㈤ = g ( x ). 因此 ，由（ 57 )式，有 


(59) 


= iim 

^ fc—oo ^ 


lim 


k 






于是,连续函数# = p (: r ) 黎曼-斯蒂尔切斯可积，并且（仍然由于 （57) 式）其积分 
等于勒贝格-斯蒂尔切斯积分. 

对于直线 R 上勒贝格测度的情形，我们比较详细地讨论黎曼积分和勒贝格积分 
之间的关系问题. 

定理10假设# = 在 [ a, fe] 上是有界函数. 

) 函数 9 = ⑷在 [a，b] 上黎曼可积，当且仅当它（关于 ^([ a y b ]) 上的勒贝格 
A 測度）几乎处处连续. 

b) 假如函数 p =分(3：)在 [a,&] 上黎曼可积，则它也勒贝格可积，且 




a 


b 


b 


(R) / ^(^)dx = (L) / g ( x ) X ( dx ), 

J a J a 

证明 a ) 假设函数 g = vOr ) 黎曼可积.那么，由 （57) 式，可见 


(60) 


( L ) / g ( x )\( dx ) = ( L ) / g ( x ) X ( dx ) 

J a J a 

因为一般 g(x) < g(x) ^ g(x), 所以由性质 H ， 有 

9(x) = g(x) 二 g(x) (A 

_ 

由此不难验证，函数 p = g ( a :) (关于测度 X ) 几乎处处连续. 

相反，假设函数 p = p(;r) (关于测度 X) 几乎处处连续.这时 （61) 式成立，因此 

9 {x) 仅在 \{JT) = 0 的集合 ，上不同于函数 g {x) 那么 

{X : g{x) ^ c} == {x : g(x) < c} + {x : g(x) < c} D^* 

- {x : g(x ) 彡 c} n # + {x : g(x) < c} O ^. 




(61) 
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显然， {t : 豆 (x) < c} n ^ G J^{[a,h\), 而由于 {:r : g(x) < c} n ^ 是 # 的子 

集，是关于勒贝格测度 X 的0测集，故 ， G ^([ a ,6]). 从而，函数 p = Wa :) 

为 ^([ a ,6])- 可测的，并且作为有界函数勒贝格可积.所以根据性质 G ， 有 


b 


(L) / p(z)A(d;r) ^ (L) / g(x)X(dx) ^ (L) / 沒 ( 工 Wdx) 


于是,命题 a ) 得证. 

b ) 如果函数分 = g ( x ) 黎曼可积，则由 a) 知它连续 (A-a.c.). 由定理9知，对于 

连续函数= P (: r ) 也勒贝格可积，并且黎曼积分与勒贝格积分相等. 

注1设是 ^{\ a , b }) 上的某一勒贝格-斯蒂尔切斯测度.对于子集 A G [ a , 6] 
的集系 ^([ o ,6]), 存在集合 A,B e ^{{ a . b }), 使 4 g A C B ^{ B \ A ) = 0. 设异是 

測度 /i 到 ^([ a ,6)) 上的开拓（对于使 AC AC = 0 的 A , 珂 A ) = 

那么，如果用测度只代替勒贝格测度 X ,而相应地用黎曼-斯蒂尔切斯积分和勒贝 
格-斯蒂尔切斯积分,分别代替黎曼积分和勒贝格积分，则定理仍然成立. 

注 2 勒贝格积分定义（见第 1 小节定义 1 和 2 , 以及公式 （3) 和 （6)) 既从概 
念上，又“纯粹表面地”区别于黎曼和黎曼-斯蒂尔切斯积分，而后两种积分用到 

上、下积分和（见 （57) 式). 

现在较详细地比较这些定义. 

设⑴ ,^， M ) 是某一带测度 / x 的可测空间. 

对于每一 可测非负函数/ = /( a ;), 定义两个（下和上）积分 L ,/ 和 L */ 

(记作又/如和 /* f d ^) : 


n 


^ 0?1 /(W) ) 


L^f = sup 


… inf ?fe /( + ⑷’ 


其中 sup 和 inf 对空间的一切可测有限分割 （木， 乂 2 ，…， A n )，H …，人 
是，-可测集合，（义 1 +4 2 +…+ 乂 n ) = 彡1 

可以证明 I */ < £*/，而如果函数/有界且测度 / i 有限，则仏/ = L */ (练习题 


* 


20 ). 


定义函数/对测度 m 的积分 L / 的方法之一（达布-扬 [ J . G . Darboux - W . 

H . Young ]), 称函数/对测度 /x 是可积的，如果 I */ = LV , 并在这种情况下记作 

Lf 二 W (= L * f ). 

如果现在转向在第1小节给出的勒贝格积分 E / 的定义1，则可以看到（练习题 


21) 
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于是，可以认为，对于 有界非 负函数/ = / M , 勒贝格方法和达布-扬方法导 


致同一结果 （ E / = Lf = L,f = LV )* 

这些积分方法的差异出现在如下情 形中： 被积函数 无界, 或者测度 / X 无限 
例如，按勒贝格积分的 观点， 相应地对于 /(X) 


1/2 了 (0 T l ] 和 / ㈤ = 2 了 (1 


oo ) ， 


积分 


dx 


dx 


和 


x 1 / 2 


( 0 , 1 ] 


(l T oo) 


相等，且都等于 LJ . 然而， L */ = 00. 

这样, L # / < 说明所考虑的函数在达布-扬意义上不可积,但在勒贝格意 

义上可积. 

在所阐述的、运用下积分 L / 及上积分 L */ 方法的范围内，我们转向黎曼意义 
上的积分法. 

假设 D = (0,1]，，=龙（博雷尔 a - 代数)，而 /i = A 是勒贝格测度.设 
/ = f ( x),xeQ 是某一有界函数（关于其可测性暂时不作假设). 

仿照和 L * f , 引进下黎曼积分凡/和上黎曼积分 iT /， 设 


R*f = inf f ( sup f ( u ))] X(Bi), 

V 

其中 ( B u B 2 , …， 氏）是 n = ( 0 , 1 ] 的有限分割，而玖是形如 ( a ^ bi ] 的集合（风与 
L / 和定 义中木 的不同，八是任意 ，— 可测集合). 

由上面引进的定义,显然 


R^f = sup 


LK JT/. 

在定理 9 和 10 中引进的黎曼可积性的性质,可以重新表述，并充实下列条件 

( a ) R*f = R , F ; 

( b ) 函数 / 之间断点集合乃/的勒贝格测度等于0 : X ( D f ) = 0; 

( c ) 存在一常数 R ( f ), 使对于任意 e > 0,存在5 > 0,使得 


R ( f ) 


< £ 


且对于两两不相交区间 (0,1] 的任何有限族，有 A ( K ，\]) <8,^£ 




利用定理 9 和10的论证，可以证明（练习题 22 )， 如果函數/有界，则 

( A ) 条件 ⑷， ( b )，( c ) 等价，并且 

( B ) 在 ⑷ ,( b )，( c ) 中的任何条件下 ，有 

R ( f ) = R,f = iT /. 
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12. 勒贝格-斯蒂尔切斯积分的分部积分法在这一小节，我们引进关于“勒 
贝格-斯蒂尔切斯积分中分部积分”的有用的定理， 

设在 （ R ， 方 ( R )) 上有两个广义分布函数 F = F ( x ) 和 G = G { x ). 

定理11 对于任意实数 a 和 fe,a < 6, 如下分部积分公式成立： 


b 


F { b ) G { b ) - F ( a ) G ( a ) = / F ( s -) dG ( s ) + / G ( s ) dF ( s ), 


(62) 


或等 价地， 


F ( b ) G ( b ) - F ( a ) G ( a ) 


b 


(63) 


G { s -) dF ( s )^ ^ F { s ) AG ( s ) 1 


F ( s -) dG { s ) + 


a<s^b 


其中 


F ( s -) = lim F ( t ), AF ( s ) = F ( s ) - F { s ~). 


t 丁 S 


注 1 符号公式 （62) 可以写成如下“微分” 形式: 


d { FG ) = F_dG + GdR 


(64) 


注 2 对于 ([ a ,6] 上的）有界变差函数 F 和 G ， 定理的结论仍然成立.（每一个 
这样的右连续且有左极限的函数,可以表示为两个单调不减函数之差 .） 

首先回忆，根据第2小节的假设，将 f 积分理解为 J {a b ] . 因此（见§3中 


证明 


公式 （2)) 


[ F ( b ) - F ( a )\[ G ( b ) - G ( a )] = / dF ( s ) 

J a 

由此根据傅比尼定理 ( FxG 是对应于 F 和 G 的测度的直积)，可见 


dG { t ) 


X 


[ F ( b ) F ( a )][ G ( b ) - G ( a )} = 


d ( FxG )( s , t ) 


J (a,b]x(a y b] 

t ) d(F x G )( s , t ) + 


x G )( s ^ t ) 


(a ， b]x(a ， 6] 


(a y b]x(a,b] 


[ G ( s ) - G ( a )] dF ( s ) + 


[邱 一）一 F ( a )] dG ( t ) 


(a ， 6j 


(a ， 6] 


G ( s ) dF ( s ) + / F ( s -) dG ( s ) - G ⑷ [ F ⑻一 F ( a )} 


^- F ( a )[ G ( b ) - G ( a)l 


(65) 


其中 / a 是集合乂的示性函数 



第二章概率论的数学基础 


，218 


由 （65) 式直接可得 （62) 式， 同样，由 （62) 式得 （63) 式， 为此只需注意到 


E 


[G(s)-G(s-)}dF(s) = 


AG(s)AF{s), 


(66) 


a 


a<s《b 


□ 


系 1 如果 F (: r) 和 G(x) 是分布函数，则 


X 


X 


F{x)G(x) - 


F{s-)dG{s) + 


G(s)dF(s). 


(67) 


如果分布函数 


X 


F ( x ) 


f(s)ds ， 


X 


X 


F(x)G(x ) = 


G(s)f(s)ds. 


( 68 ) 


系 2 设随机变量 f 的分布函数为尸 = F(x), 而且 ER| n < 00 , 那么， 


TI 一 1 


71 


dF(x) = n 


1 — F(x)]dx, 


(69) 


X 


X 


0 


0 


0 


71 — 1 


\x\ n dF(x) = n 


F(—x)dx, 


(70) 


x 


0 


OO 


x n ^ 1 ll^F(x)^F(-x)}dx 


E|CI 


n 


x\ n dF(x) 


(71) 


n 




0 


—C5C 


为证明 （69) 式，注意到 


b 


b 


n 


dF(x )= — 


n 


d[l — F(x)] 


X 


X 


0 


0 


b 


x 71 - 1 ^ - F{x)]dx 


6 n [l — 增 ] + 


(72) 


n 


o 


现在，在 Eier < oo 的条件下，证明， 


b n [l- F(b)- F(^b)\ ^ b n P{\^\ >6} ^0,6 


(73) 


— OO . 


事实上， 


k 


ie 


n 


\x\ n dF(x) < oo, 


因而 


k 


E 


\x\ n dF(x) 


OO 


A:~l 


k^b+1 
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k 


x\ n dF(x) > > b}, 


k-l 


可见 （73) 式成立. 

在 (72) 式中令& 

由（ 69 )和（ 7 0)式得公式 (71). 

13. 有界变差函数 设 A = A ( tlt ^ O 是右连续、有左极限且局部有界变差函 
数（即在每一个有限区间 [a j 上有有界变差).考虑方程 


求极限，得欲证明的 （69) 式.类似可以证明 （70) 式 


— OO 


Zt = 1 + / Z s ^dA(s)^ 


(74) 


0 


其微分形式为 


Zq = 1 

利用上一小节证明的分部积分公式，可以（在局部有界变差函数类中）求出方程 
(74) 之解的明显形式. 

引进函数（称做随机分量； [87])： 


(75) 


A(t) — A(0) 


I ] (1 + AA ( s))e 


^ t ( A ) = 


-AA(s) 

5 


(76) 


e 


0< s^t 


其中 △ J 4( s ) = A ( s ) — .4( s —), s > 0, 而 .4(0) = 0. 

函数 A ( s ),0^ s ^ t 具有有界变差，故最多有可数个间断点，而且级数 

| 乂⑷ | 收敛.由此可见函数 

n (i+A 则） 


E 


0< s^t 


— AA(s) 


， oo , 


0< s^t 


是局部有界变差函数, 

如果记 


，⑴=都) - E 雄) 


0< s^t 


为函数 A ⑷的连续分量，则 （76) 式可以改写成如下 形式： 

n (1 +厶物 )) 


A c (t)-A c (0) 


^ t ( A ) = 


(77) 


0< s^t 


记 


A G (t)-A a (0) 


Mt)= n (1 + G(0) = 1 ， 


m 


e 




0 <s^t 



第二章概率论的数学基础 


220 


那么，由 （62) 式，有 


t 


^t(A) = F(t)G(t) = 1 + / F{s)dG(s) + / G(s^)dF(s) 


0 


0 


E 


F{s)G(s-)AA(s) + / G(s-)F(s)dA c (s) 


0 


0<s^t 


& ? ^(A)dA(s). 


o 


于是， ^ t ( A ), t ^0 是方程 （74) 的（局部有界）解. 

现在证明，此解在局部有界类中唯一. 

假设有两个局部有界解：而 y = Y(t) y t^0 是二者之差，那么 


Y(t) = / Y(s-)dA(s) 


0 


设 


T = inf{t ^ 0 : Y(t) ^ 0}, 


如果对于一切 O 0,Y(t) =0,则认为 ： T 

由于 A ( t ), t ^0 是局部有界变差函数,则存在两个广义分布函数山⑷和 A 2 {tl 
ffi A(t) = 山⑴- A 2 (t). 若设 r < 00, 则存在有限 r > r , 使 


= OC 


[A!(T f ) + A 2 (T f )] - [A X (T) + A 2 (T)\ < 




2 


那么，由方程 


Y(t) = / Y(s-)dA(s),t^T, 


T 


可见 


sup \Y(t)\ < - sup \Y{t)\ 

t^T 

因为 su Pt ^ T , | y ( i )| < oo, 所以对于 T < t ^ r , Y ( t ) = o . 而这与假设矛盾， 

于是，证明了下面的定理. 

定理12 在局部有界函数类中，方程（7 4 )有由 （76) 式给出的解，而且是唯一 


2 


t ^ T f 


解 


14. 练习题 


1. 证明 （6) 式. 

2. 证明性质 E 的如下推广.设对于随机变量$和 I ? 数学期望 E 《和 Er? 存在， 

且取+ E ?? 有意义（不是 


或 


+ oc )， 贝 !] 


oo — oo 


— 00 


E(^ + ") = + E77 
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3,推广性质 G : 证明，如果《= 77 ( ax .)， 且存在，则 Et ? 也存在，并且 


E^ = Erj 


4. 假设€ 是广 义随机 变量， 以是 a - 有限测度 ，且 / n |(|知 
( a . c .). (与性质 J 比较 .） 

5. 设"是 a - 有限测度，《和？?是广义随机变量，且 /( d/i 和/ t ] dfi 存在.证 
明，如果对于一切4 G ，， 有 


证明旧 < 


< OC . 


00 


/ ^d/i < / T]d(jL, 

Ja Ja 


Wl ( M — a . c ,). (与性质 I 比 较). 

6 . 设《和 ?? 是独立非负随机变量,证明取?? 

7. 利用法图引理，证明 


x 




P(lim^n) < limP(A n ), P(lim 人 ） < HmP(^ n ). 

8. 举例说明，控制收敛定理的条件“|匕| < < oo ” 一般不能减弱 

9. 举例说明，法图引理的条件“匕< % 

10. 证明法图引理的如下 变形： 若随机变量序列 U +} 


一 般不能去掉， 

一 致可积，则 


7} > 一 OO 


n^l 


limE^ n < Elim^ n 


11. 定义在 [0,1] 上的狄利克雷 （ P . G . L . Dirichlet ) 函数 

1， 若: r 是无理数， 

0,若 a ： 是有理数， 


d ( x ) — 


勒贝格可积,但是黎曼不可积.为什么？ 

举例说明，定义在[0，1]上且黎曼可积的函数序列 {/ n } n ^ l ,|/ n | < 1,且关于 
勒贝格测度几乎处处有 / n — /,但是/黎曼不可积. 

13.设是实数序列，且 lad 


12 


* 


由傅比尼定理导出 


< OO 


( U ) 1 \ J / 3 \ i / 


(78) 


14. 举 一数列 的例子，使 I 叫卜 oo 而等式 （78) 不成立. 

15 - 从简单函数出发，利用在积分号下取 &限的 勒贝格定理，证明，关于利用换 
元积分法 的如下结果. 

设/ i = / i (: c ) 是区间 [ a ,6] 上的非减连续可微函数，而 /(； r ) 在[/ I ⑷， A (6 )j 上的 
(关于勒贝格测度）可积.那么，函数 HHyWiy ) 在区间 [ a , 6] 上可积，且 


h(b) 


b 


f ( x ) dx ^= / f ( h ( y )) h f ( y)dy 


h(a) 
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16. 证明 （ TO ) 式. 

17. 设€,6,6,…是非负可积随机变量，满足 E^ n 4 且对于任意 e > 0， 

率 P {| e -< en | >4 — 0. 证明 E |& — 《| 

1 8 . 设€是可积随机变量 （ E 旧 < oo ). 证明，对于任意 e > 0,存在 <5 > 0,使对 
于任何4 e ^, P ( A ) < J ， 有 E / A 旧< e (“勒贝格积分的绝对连续性 ”). 

19. 设对于随机变量$ % C 和匕，加， Cn，n > 1，有 *) 


0, n 


— 00, 


p 


p 


p 




€， Vn 




C ? Vn ^ < Cn ，打 > 1 ， 


EC , Er ? 

且数学期望 E ^, Er ?, EC 有限.证明 普拉特 ( Pratt ) 引理： E & 

% 彡 0 彡 Cn ， 则 E|^ n - < e | 

由此证明，如果 ' 6 EI&I — E |《| 和 EI 4 I < oo , 则 E | C n - $ — 0. 

举例说明，在普拉特引理的条件下，一般 E | 匕-《 I 户 0. 

20. 证明 L */ < L */, 而如果函数/有界，且测度 /X 有限，则 L */ = L */ (见第 
11小节之注 2). 

21. 证明，对于有界函数/，数学期望 E / = L */ (见第11小节之注 2). 

22. 证明第11小节之注2的最后一个命题. 

23. 设 F ( x ) 是随机变量 X 的分布函数.证明 


Cn 




《，而如果满足 


0 


EX + < 


ln 兩如< %肝某个 


00公 


a. 


24.证明，如果对于 p >0, 


lim x p P { 旧 > x} = 0, 


则对于一切 r < p ， ER | 

25. 举一密度/ ㈤ 的例子，/ ㈤ 是偶函数,然而所有非奇数阶矩 


举例说明， 当 r 二 p 时有可能 E | e| p 


< OC . 


— OC 


k 


f(x)dx = 0 ， /e = 1 ， 3, 


x 


26. 举一随机变量序列的例子，使 

oo oo 

e E ^^ E e ^- 


27. 设对于随机变量 X ，当 a > 1时，有 

P{\X\ > an} 

^ I \ X \> n } ~ 

♦ ♦ 

_ • 

收敛 （ n 三纟 称做依概率收敛，表示对于任意 


0, n 


— 00 


>0 ,概率 P{|Cn-el 


详见 


6 


n —► oo. 


§10. 
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证明 x —切阶矩存在， 提示： 利用公式: 


N-1 


P{|X| >x}dx 


X 


0 


28. 设对于随机变量 X 以概率外取 fc = 0,1 ， 2, …为值.函数 


m = E 


k 


I 杉 1 ， 


PkS \ 


fc— 0 


称做随机变童 x 的母函数.证明下列 公式： 

W 若 X 是泊松随机变量 ，即％ = e - x X k / k \, 其中 A > 0, = 0,1,2, …， 则 

1; 

pq k y 其中 0< p < l，g = l - p，fc 


- 入 （1 —S) 


F ( s ) = 


e 


(ii) 若随机变量 X 有几何分布 ，即 


Pk 






0，1，2,…，则 


P 


F ( s ) = 


,|5| < 1 


1 一 sq 

29. 除母函数 F(s) 外尚使用矩母 函数: M(s) = Ee 3 ^ (假设 s 使 Ee sX < oo). 

(a) 证明，若矩母函数 M(s) 对于 0 的某 一 邻域的 一 切 s(s € [—a,a], a > 0) 有定 

义，则当 s = 0时对于所有= 1,2,…，导数 M ㈦ ⑷ 存在，而且 


AT ⑻⑼= EX k 


(这一性质决定了 M ( s ) 的名称). 

( b ) 举一随机变量的例子，对于一切 s > 0,其矩母函数 M ( s ) 

( c ) 证明，对于一切 s € R ， 参数 A > 0的泊松随机变童的矩母函数为 M ( s ) = 

-A(l-e 5 ) 

30, 设0 < r < oo , X n G L r ， 

⑴随机变量族 {) X n \ r , n ^ l } 一致 可积； 

( ii ) 在 77中 X n — X ; 

( Hi ) E |^ n | r ^ E | X | r < 

31. 斯皮策 （ F . Spitzer ) 恒等式.设 Ar 1? X 2 ,--. 是独立同分布随机变量序列， 
p{Xi 彡 1} = 1; & 二 Xi + …+ x n ， 则对于 M ， ⑷ < 1，有 


OC 




e 


p 


X . 证明下列条件等价 


OO* 


降和} 


t n Ee uJVfn = 


exp 


其中 M n = max {0, Xi , X 2 , • - , X n }, S ^ = max { w , 5 n }. 

32 •设私 = 0, & = 不 + X 2 + … + A , n 彡 1 是简单对称随机游动，而 

min{n > 0 ; 5 n ^ 0}. 证明 


Emin(r ， 2m) = 2E|5 2m | = 4rnP{5 2m = 0}，m 彡 0 
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33.设 f 是标准正态随机 变量： ~ iV (0, l ). 利用分部积分法证明 Ef = (fc 
l ) Ef - 2 , 并由此导出 公式： 

= 0和 E 《 2 




2fc _ 1 


k 


x (2 /c — 3)(2 fc — l ) ( = (2 Aj — l )!!) 


=1 x 3 x 


• • « 


34. 证明， 函数 a:— 1 sin 按黎曼可积，但是按 （ M ， j ( M )) 上的勒贝格测度 


不可积. 


35.证明函数 


一 2ct^i CU2 




— Ufx < jJ 2 


， G fil = [1 ， OO )， U；2 £ ^2 = (0, 1 )， 


— 2 e 




关于勒贝格测度， 

⑷对于每一个 W 2 , 对 O ；! e %可积； 

( b ) 对于每一个0^，对0； 2 € 可积，但是傅比尼定理不成立. 

36. 证明莱维 （ P . P . Levy ) 定理： 设随机变量匕6,…可积（对于一切 n ^ 

l ， ER n | < oo )， sup „ < oo 且 Cn U ， 则随机变童《可积，且 E & T (对照定理1 


之岣) 


37. 证明法图引理的如下 变式： 如果0彡 — $ ( P - ax .), 且 E《 n 彡災 < 00 ,贝 lj 
^可积，且取 < 儿 

38. (黎 曼积分法与勒贝格积分法的联系 .） 设博雷尔函数/ = f(x ) 对勒贝格测 

度可积： / R |/(x)|da: < oo. 证明对于任意£ > 0,存在 

( a ) 具有有界 E 间為的阶梯函数 


fe(x) = 使 


f(x) - fe(x)\dx < £； 


( b ) 具有有界承载子的连续可积函数 9e {x ), 使 


/⑻ - 9 e(x)\dx < 


£ 


E 


39. 证明，如果《是可积随机变量，则 


0 


P {^ > x}dx — 


P {^ < x}dx 


o 


40. 证明，如果€和 r / 是可积随机变量，则 


[P{ry <x - P{^ <x ^ 7]}]dx 


$ — Er ? = 


— 彡 0 


e 


( a ) 证明，对于任意 0 < r < 1， 




r 


dA 


r(l - r ) 


0 
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提示对于5彡0,0 < r < 1， 


一8乂 


1 — e 
~ 1^+ 1 


T { l ~ r ) s r = 


dA 


r 


o 


( b ) 证明，如果 f > 0, 则对于任意 r > 0, 


f ^(A 1/r )dA 

Jo 


Er 


rT(r) 


提示对于 s 彡 0 ，r > 0, 


r 


exp{— ( A / s) r }dA 


s ~ 


r ( i / r ) 


0 


§7. 关于 a - 代数的条件概率和条件数学期望 


条件数学期望和条件概率一般定义的必要性设 (0,^, P ) 是概率空间，而 
事件乂 G ，的概率 P (4 > 0;激 = { D 1 , D 2 r -} 是空间 n 的有限或可数分割,其 
中 P ( A ) 像有限概率空间一样，称 


* 


P ( AB ) 


P ( B \ A ) = 

为事件5关于事件火的条件概率•而事件5关于分割贫的条件概率,记作 P ( B | 贫) 
或 P ( BI ^)( u ), 定义为：对于1,等于 P ( BlDi ) 的随机变量 


P ⑷ 




类似地，如果€是随机变量,假设其数学 期望叹 存在，则 f 关于事件 A ( P ( A ) 

0) 的条件教学期望 定义为 


> 


miA ) 


E (⑽ 


p ⑷ 


(对照第一章§ 8 的 （10) 式). 

随机变量 P ( B \^ f ) 显然关于 a - 代数罗 > = a (诊） 可测，因此 P ( B \^) 亦记作 

P (万 | 货 )( 见第一章 §8). 

在概率论中往往有必要考虑关于零概率事件的条件概率. 

例如,考虑如下试验.设€是在[0, 1] 上均匀分布的随机变量.如果 ^ = x t 则掷 

一次 硬币: 正面出现的概率为; r , 反面出现的概率为 1- a :. 以1/表示将这样的硬币掷 

次，正面出现的次数•问“条件概率 V{u = k\i = x } 如何?”尽管直观上清楚“这 

一概率似乎应该等于 C k n x k (l - 然而，由于当 P {《 = z } = 0时，我们所关心 

的“条件概率 ^ P{u = = xY 暂时没有定义. 

下面将给出关于 a - 代数条件数学期望（其中包括条件概率）的一 
般定义，并且与第一章§8对于有限概率空间的相应定义作比较. 


n 
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条件数学期望和条件概率的一般定义设 ( a ,^, P ) 是概率空间，歹是 
代数，貧 g ，(货是叉的子 ^7- 代数)，而《=^卜）是随机变量.回忆在§6中分两 

个阶段引进了数学期望取的 定义： 首先对非负随机变量$然后对一般随机变量之, 

并利用等式 


0" 一 


■ 


矿 — Er , 


其中（为避免形如 


的不定式）仅假设 

min { Ef +， E 「} < oo . 

在定义条件数学期望 EK | 罗）时，也采用类似的两阶段构造过程. 

定义1 1) 非负随机变量 S 关于 (7- 代数災的条件数学期望，定义为非负（广 
义）随机 变量: E ㈤ 貧）或 E ⑷貧 )(0；), 如果 

a ) E ⑷安）为爹- 可测； 

b ) 对于任意4 e 芡，有 


00 — 00 


/ edP = / E(C|^)dP 

Ja Ja 


( 1 ) 


2) 假设任意随机变量 <关于 a - 代数罗的条件數学期望 E ⑷穸)或 E ( e|^)M 

有定义，如果 P 




min { E(e 十 |災)， E(ri 爹) }< 


oo, 


并且通过如下公式表示 


E ⑷安 ） sE ( d 資） - E ( ri 安)， 


且在使 E ( ti 没） = E ( ri 資） 

m + \^) - E ( ri ^), 例如令其等于 o . 

首先证明，对于非负随机变量 e ， E ⑷芡）确实存在、根据§6第8小节，集函数 


的一切基本事件的 （零 概率）集合上，任意规定差 


OO 




Q ㈤ 


( dP ， 


( 2 ) 




A 


是在 （ a 芡）上关于测度 P 绝对连续的测度，其中 P 是在 ( n ^)^ cjr 上的测度. 
因此（根据拉东-尼科迪姆定理）存在这样的一个芡-可测广义随机变量 E (^ l ^), 

乂 E” 


使 


Q ( A ) = 


(3) 


由 （2) 和 （3) 式得 （1) 式. 

注1根据拉东-尼科迪姆定理,条件数学期望 E ⑷芡） 仅精确到 P - 零测集 
唯一.换句话说，作为 E (^)( uj ) 可以取任何芡-可测函数 f ⑼, 其中 / M 满足 

Q(^ 4 )= f f(u)dP, A 


A 


称做条件数学期望的变式. 
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还应指出，根据对拉东-尼科迪姆定理的注释, 




⑷ 


即条件数学期望是测度 Q 对测度 P 的拉东-尼科迪姆导数，其中测度 Q 和测度 
P 都是空间 ( Q ,^) 上的测度. 

有益地指出，由 （ 1) 式可见，如果对于非负随机变量 f Ef < oo, 则 E ⑷貧） < oo 

_ 

(P-a.c .》 类似地，如果《彡 0 ， E 《 > —oo, 则 E ⑷爹） > _oo (P-a.c,). 

注2 关于 （1) 需要指出，一般不能设 E ( e |^) - 因为随机变量$未必妒- 


可测 


注 3 假设对于随机变量存在，则 E ⑷資）也许可以定义为使 （1) 式成 
立的穸-可测函数.通常正是这样做的.我们引进的定义 EK |^) = EK +|^) - 
E ( ri ^) 具有如下优点 ：在歹 是平凡 a- 代数的情形下,即在妒 = (0, Q ) 的情形下, 
E ⑷穸）=这时并不假定取 存在. (例如，对于随机变量假如 EC + 

，犮=，则玫没有定义,但是在按定义1, EKI ^ 7 ) 存在,并且《=~ 

注4假设条件数学期望 EK |^) 有定义.随机变量 


00 , 




D ⑷貧） =E{K-E ⑷災 )1 2 | 災 } 

称做随机变量《 关于 a - 代數爹的条件方差. （与第一章§8练习题2中 D ⑷多）关 
于级的定义，以及 §8 中方差的定义比较 .） 

定义 2 设丑€，.条件数学期望 E ( I b ^) 记作 P ( B | 災）或 P (利貧)⑻，并 
且称 做事件5关于 a - 代数 C JT ) 的条件概率. 

由定义1和 2 ,对于每一个固定的 BgJT 条件概率 P ( Bl ^) 是一随 机变量 ，满 


足 


a ) P (5| 穸）为岁^ 可测; 

b ) 对于任意4 e 妒， 


/ P(B| 安 ) dP. 

JA 

定义3设€是随机变量，罗；是某随机元素7?诱导的 C7- 代数，那么，如果 
EKI 沪〃） 有定义，则记作 EKI77) 或 E(^|//)H， 并称做 S 关于7?的条件数学期望， 

条 件概率 P ( B \^ V ), 记作 PPW 或 P ( B \ V )( u ), 称做事件 B 关于的条件概 


P ( Ar \ B ) 


(5) 




率 


关于分割和关于 （7 - 代数的条件数学期望的关系现在证明，这里给出的 
E ⑷歹） 的定义与第一章§8中条件数学期望的定义一致. 

设逆 r = {认，^，…}是以 A ( E * A - 为原子的有限或可数分割，其中 

P(A)>0,oi* 


拿 
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定理1 如果芡= <贫)，而€是随机变量，且其数学期望 Ef 有定义，则 

EK |^) = E ( e | A ), (在 A 上 P - ax .) 


⑹ 


或 


E (此） 

P ( A ) ’ 

(其中 ％ = 7? ( 在乂上 P - a . c .)，， 或 % = Tf (在 - P — a . c .)，， 表示 P(A n {e ^ 7]}) = 0-) 

证明根据 §4 引理3,在 A 上 EKI ^) = K u 其中&是常数，由 


E 網 = 


(在从上 P — a . c *). 


E«|^)dP = & P ( A )， 


mp 


Di 


Di 


可见 


E ( 也 ) 

P ( A ) 


Ki 


(dP 


= mm 


□ 








P ( A ) 

于是,第一章引进的、关于分割贫= { D U 込，… } 的条件数学期望 E ⑷芡）的 

概念,是关于 cr - 代数芡= a (^) 的条件数学期望概念的特殊情形. 

4. 条件数学期望的性质假设下面所考虑的随机变量$7/的条件数学期望都 

存在，而卜代数爹 Q 叉. ^ 


Di 


A *, 若 <7是常数 ，而 € = C ( ax ,)， 则 E (^) = C ( a . c ‘) 
B *. 若 f 彡 7? ( a ‘ c .), 则 E ⑷妒） < E ( r /1 資） （ a . c .). 

C *. | E ( e |^)| < E ( ICH ^) ( a . c .). 

D ' 若 a ，& 为常数， J _ aE ^ + 6 Er / 存在，则 


E(ae + br ]\^) = aE ⑷資） + bE ( r ]\^) ( a . c .) 

若，* = {0,0} 是平凡 ( T - 代数，则 

E (队卜 Ef ( ax .). 


F ' E (，) = €( ax .), 

G' E[E((| 賞 )] =E$ 

H ' 若災 ： C ^ 2 , 则有（第一）“望远性”： 

E [ E (^|^ 2 )|^ l J = E «|^ i )( a . c .). 

P . 若罗\ 2歹2,则有（第二）“望远性 

Em \^ 2 )\^ 1 ]^ E (^ 2 ) ( ax .)， 


?? 


J ' 若随机变量 f 的数学期望存在，且与 

/ B ，5 e 妒)，则 


代数妒无关（即不依赖于 


a— 


E(^l^) = (ax,) 
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K ' 若7；是爹-可測随机变量， E |《| < oo ， E | 刎 < 0 C ， 则 


. 


m ^) = rjE (^) ( ax .)， 


数学期望性质的证明 

a *. 等于常数的函数关于歹可测，因此只需验证等式①; 


(dP= / CdP, 


由于假设 ^ = C ( a . a )， 则由§6第3小节的性质 G ， 知上面的等式显然 

b ' 若 S < r ? ( ax .)， 则由§6第3小节的性质 B , 有 


/ ijdP . Ae ^, 


从而，有 


E(C|^)dP < / E(7?| 穿 ) dP ， Ae^_ 

JA 

于是，由§6第3小节的性质 I ，得所要求的不等式. 

c *. 若考虑到明显的不等式<旧，则由 b * 可得所要求的不等式, 

d *. 若集合 A €^, 则由§6第14小节的练习题2,有 

f (a^ + br})dP = f a^dP + f brjdP = f 

Ja Ja J a J a 

[ aE ( C |^) + 6 E (77 |^)]dP 


aE ( e |^) dP + / 6 E(^|^)dP 


于是性质 D * 得证. 

e ' 该性质可以由下列性质 得出: 第一,是 多\— 可测 函数; 第二，如果 >4 = Q 
或 A = 0，则显然 


《 dP = / E^dP 


P . 由于€为，-可测，且 


( dP = / E (^) dP ^€^, 


则 E (，)=< e ( a - c .)_ 

如果设罗\ = (0, Q ),^ 2 =貧,则性质 G * 可以由性质 E * 和 H * 得出. 

h ' 设，则 


4 


L 

K - 的证明.——译者 


^dP 


® 小写题号#〜 k * 下相应为命题 A 
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因为妒则妒 2 ,因此 


f E (狀 ) dP = / 

Ja J a 


E [ EK |^ 2 )|^ i]dP 


^dP 




A 


从而，对于，有 


f EK [^ i ) dP =[ 

Ja Ja 


E [ E ( e [^ 2 )|^ i]dP 


仿照 §6 第 3 小节的性质 I (亦见§6的练习题5)，可得 


E (^ i ) = E [ E (^ 2 )|^ 1 ] ( ax .). 

设乂 €多^，则根据 E [ E ⑷貧 2 )|罗的定义 


f E (， 2 ) dP . 

Ja 

因为函数 E ⑷泛 2) 为芡 2 -可测,并且由于泛2 g ，则 E (狀 2 )也歹 i - 可测.可 

见 E ⑷芡 2 )是条件数学期望 EtE^I^)!^!] 的变式之一.于是，性质 I* 得证. 

r. 由于坎 为沪-可测函数，故只需验证对于任意5 e 芡，有 


E[E(^|^ 2 )|^ 1 jdP 


A 


(dP = / E ( dP ， 


B 


B 


即 E ^ Ib ) = E^X EJ b . 如果 EW < oo , 则这由 §6 的定理 6 立刻得到，对于一般情 
形，不是用§ 6 的定理 6 ,而是利用§6的练习题6证明上面的积分等式. 

k *. 为证明性质 K *, 需要利用下面定理2的命题 a ), 因此下面再证明（见232 


页) 


定理 2 (数学期望符号下的收敛性）设仪 n } n > 1 是（广义）随机变量序列. 

a ) 若 | 匕 | 彡 7 /， E77 < oc 且^ ( ax ,)， 则 


E ⑹芡卜 E ( e | 妒） （ ax .)， 


且 


E (| Cn — 印妒 ）— O ( ax -) 

b) 若^彡 7 ? ， E ?7 > -oc 且 K (ax,) ? M 


EK n | 穸） TE (^) ( ax .). 


c ) 若^彡 r ?， E?7 < oo 且 K ( a , c .)， 则 


E ⑹歹）丄 E 網 ( ax .) 
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d ) 若 & 彡 > —00, 则 


EQimU 爹 K UmEK n |^) (ax.)* 


e ) 若 % Er/ < 0C ， 则 


limE (^ n |^) ^ E ( lim ^ n |^) ( ac .) 


f) 若 >0, 则 


( EwU E (《，) ( a - c .). 


E 


证明 a ) 设 


Cn ~ SUp — 《 n j 


m^n 


由于 € (ax.), 可见 Cn 丄 0 (a,C_), 数学期望 ECn 和 EC 有限，由于性质 D * 和 


CT ( ax .), 


|E ⑹資） —E ⑷資 ) 卜 |E (匕 —$ 安 ) KE(UII 貧 KE(Cn| 没 ) • 

由于 E ( Cn + i |^) ^ E ( Cni ^) ( ax .), 则存在极限 /i = lirtinE ( Cnl ^) ( ax .), 那么, 


0 < / MP ^ / E(Cn|^)dP- / CndP -> 0, 


n —^ oc ， 


Q 


n 


Q 


其中由于 0 < Cn < 277， E 77 < 00,可见最后的结果可以由控制收敛定理得出. 从而， 


"dP = 0, 


Q 


且由§6第3小节的性质 H ， 知办= 0 ( a . c .). 


b ) 设 


由于 E (&| 貧）彡 E ( e n + i |^) ( ax .)， 则存在极限 （( a ;) 


V 




lim n E(Cn| 穸） （ ax .). 那么，由等式 


/ E(&| 歹 ) dP ， Ae^, 


A 


A 


和控制收敛定理，有 


/ ^dP = / E(^|^)dP - f 

Ja Ja Ja 


CdP, Ae^ 


从而，根据与 §6 第 3 小节的性质 I 类似的性质和§6的练习题5,可见 ^ = C ( ax .) 

为证明一般情形,注意到， 0 < e " K +, 且根据已经证明的 


⑺ 
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由于 0 彡 G < 0C ， 故由 a ) 可见 

E ( C |^)- E ( ri ^), 


于是，由此连同 （ 7 ) 式，命题 b ) 得证. 

由 b ) 得命题 C ). 

d ) 设 Q 则 a T C, 其中 C = UmU . 根据 b ), E ( C n |^) T E ( C | 货) 

( a . c .). 因此 

E ( lim < fn |^) = E ( C |^) - limE ( Cn |^)= limE ( C n |^) < limE ^ nl ^) ( a . c .). 


由 d ) 得命题 e ). 

f ) 如果 61 > 0 , 则由命题 D ' 可见 


= E e ^ i ^) ( ax -), 


由此连同 b ) 即可证明所要求的结果. 

现在证明命题 K *. 设 = 歹.那么，对于任意 Ae 芡，有 

f j b e ( 狀 ) dP = / 

Ja Ja 


□ 


E ⑷穸 ) dP 


輒 I 穸 ) dP 


^dP 


CdP 二 




AnB 


AnB 


由于勒贝格积分的可加性，等式 


r / E ⑷货) dP，Ae 货， 


^dP 


( 8 ) 




对于简单随机变量 


= ^2 VklB k ,Bk G 賞， 


V 


仍然成立.所以由§ 6 第 3 小节的性质 I ，对于简单随机变量，有 

_ 

_ 

E 物 | 貧） — V m\^) (a-c.). 

现在假设 r ? 是任意芡-可测随机变量，而 { TMky 是妒-可测简单随机变董 

序歹!1,且 |?? n | < \ v\,Vn V - 那么，由⑼式，可见 

E 物 nl 災 ）= %E ⑷貧） (a.c.). 

因此，根据定理2的命题 a )， 

mvn\^) ^ E(^l^) (a.c.). 


⑼ 


显然< iwi ， 其中 iai 




其次，因为 E |$ < 00 ,则 EKI 資）有限 ( ax .) (见性质 C *，§ 6 第 3 小节的性质 J ). 于 
是 t ^ E ⑷災）— rjE (^) ( ax .). (关于 E (^\ G ) 几乎必然有限的假设是重要的，因为 
在§ 4 第 4 小节曾约定 :0 

趋向 0 


= 0 ,但是如果 r/ n = 1 / w , T ] = 0 就会出现 ( 1 / n ) x 00 不 


0 的情形) 



关于 a - 代数的条件概率和条件数学期望 


233 


注如果仅满足条件: 为罗 -可测 ，且 E ⑷妒) 有定义, 则命题 K * 仍然成立. 


5. 条件数 学期望 E ⑷罗^的结构现在比较详细地讨论条件数学期望 
的结构，其中上面曾约定 E ( ei ^„) 也通过 e ⑷ a 表示. 

由于 E ⑷ 7?) 是芡-可测函数，根据§4的定理 3( 比较确切地说，该定理对于广 

(工） ， 使对 


义随机变量明显的变式)，存在定义在 I 上取值于屁的博雷尔函数 
于一 '切 cj G S 1， 有 


m (咖 )） = E (⑽⑼ . 


( 10 ) 


我们用 E ^ lr ? = y ) 表示函数 m ( y ), 并称做 《关于事件 {// = y } 的条件数学期望， 或 
$权 v = y 条件下的条件数学期望. 


根据定义 


m ⑻ dP , A 


(dP = 


E (⑽ dP = 


( 11 ) 


因此，根据 §6 (关于勒贝格积分变量替换）的定理7,有 


m ( r})dP = / m ( y ) P v ( dy),B e ^(1) 


( 12 ) 




其中只?是 V 的概率分布.从而 m = m ( y ) 是博雷尔函数,且对于一切 B e 有 


《dP = / m ( y ) P v ( dy ), 


(13) 




这说明可以经另一途径定义条件数学期望 E (^\ r ] = y ). 

定义 4设《和是随机变量（也可能是广义的)，且存在我们称任何满 


足 


m(y)P v (dy),Be^(W), 


CdP 


(14) 




{oj ： 7]€ ： B} 


的 o ^( R )- 可测函数 m = m ( x ), 为随 机变量 ^ 条件下的条件数学期望. 

如果注意到集函数 


Q ( B ) = 

是带符号的测度，并且关于测度 A 绝对连续，则仍然由拉东-尼科迪姆定理可见 

m ( x ) 存在. 

现在假设 m ( y ) 是按定义4的条件数学期望.那么，仍利用关于勒贝格积分变董 

替换的定理，可得 


dP 




函数 


m 




(dp 


m ( y ) P r } ( dy )= 


m (?7) dP , B € w ^( R ) 






{u? ： 7}GB} 


函数 m ⑻为可测，且集合 { to ：7 jeB},Be ^( S ) 包含罗 ^ 中所有集合. 

由此可见， m (7?) 是数学期望 E ⑷ 7?). 于是，由 EKIt ? = y ) 可以得到 E ⑷ ??)； 相 
反，由 E ( C \ v ) 可以得到 EK | r / = y ). 
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直观上，条件数学期望 m ( y ) = EKIr ? = y ) 是比 E ⑷ /?) 更简单明了的对象.不 
过,条件数学期望 m \ v ) 作为可测随机变量更便于使用. 

应该指出，前面引进的性质 A * 〜 K *, 以及定理2论断,容易移植到条件数学期 
望 E ^ l ?? = y )( 为此，只需将“几乎必然”换成 “ Pq - 几乎必然”).例如，性质 K * 可 

以转述为：如果， E |4| < oo , E |^/(7?)| < 00, 其中/ = /( y ) 是 ^( M )~ 可测函数，则 

E ( C/Wh ^ y ) = /( y ) E ( C |^ = y )( P v - ax .) 


(15) 


其次（对照性质 J *)， 设€和 n 独立，则 


E ⑷ r? = y) = E( (Prj - ax.), 

还要指出，如果 B e J ^( R 2 ) 且 《和 // 独立，则 


E[/b(^ v)\v = y]= E/ S (^y) (Prf - ax.) 

V ?( U /) 是义 ( R 2 )- 可测函数，使 E | p (4,7?)| < 00,则 

E [ 冰， ”)lm] = ， ” ） （ P” 一 a.c‘). 

为证明 （ ie ) 式，我们指出以下事实.假如 B = B 1 x B 2 . 则为证明 （16) 式，只需 


(16) 


如果 






验证: 


Ib!xB 2 (C ? ??)P(da;) 

等式左侧是 P {€ € BuV ^ AnB 2 } y 右侧是 P {《€ Bi } P { r ? e An B 2 } y 而由于 e 和 // 

独立，可见左、右两侧概率相等.一般情形的证明，要运用§2中关于单调类的定理 
1 (对照傅比尼定理证明中的相应方法). 

定义 5 在 V 二 y 的条件下， ^{ Ia \ t } = y ) 称做事件 AeJ ^ 的条件概率，记作 

P ( A \ r ] = y ). 

_ 

显然， P ( A|/y = y ) 也可以定义为满足 


IbixB 2 (^ y ) P r } ( dy ). 


{ u ?： Tf ^ A } 


{ yeA } 


P (乂 n € 5}) = / PiAlr ] = y ) P r } ( dy) y ^(1), 


(17) 


B 


的可测函数. 


计算条件概率和条件数学期望的例 

!1 1设7?是离散型随机变量： 






P {^7 = Vk } > 0, 


fe=l 


那么 


P ( An { r ] ^ y k }) 

^{V = Vk} 


P ( A \ r ] = y k ) 


， k^l 
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对于 y 癸切 ^ yv }, 条件概率 P ( A\ V = y ) 可以任意地定义，例如，令其等于 o 

假设随机变量纟的数学期望存在，则 


E (^|7? = Vk ) = 


( dP . 


^{v = Vk } 

对于 M { yuV 2 r - h 条件数学期望 E ( C | r ? - y) 可以任意地定义，例如,令其等于0 

例2设 (^ n ) 是随机向量，其分布具有密度 fi v [ x ， y ): 


{uJ ： 7]-Vk} 


P{($t?) eB}= f^ v (x,y)dxdy, B G ^(R 2 ) 


B 


设/《⑻和 MV ) 是随机变量 《和 W 的概率分布密度（见 §6 (46)，(55)，(56)).记 

k ^ jx . y ) . 

^ T ， 


hiniAv ) 


(18) 


其中，如果/”⑼= 0,则设 f^ v (x\y) = 0. 


那么， 


P{^ eC\r) = y} = / f^\ v (x\y)dx, C 


(19) 


c 


即 f ^\ v ( x \ y ) 是条件概率分布密度. 

事实上,为证明（ I 9 )式，只需对于 B e ^( R ), A = {^€ C}, 证明 （17) 式.由§6 
的 （43) 式和 （45) 式以及傅比尼定理，可见 


f ^ iv ( x \ y) dx \ p n ( d y ) 


f^\v( x \y)^ x \ Mv) d v 


B 


C 


C 


h\v( x \y)fv(y)^ xd y = 


f^ v (x,y)dxdy 

P{(^ rj)eCxB}= P(K eC}n{ne B}\ 


CxB 


CxB 




于是 （17) 式得证， 

如果存在，则类似可得 


E (《 l " 二 y ) = / ^ f ^\ v (^\ y)dx 


( 20 ) 


例 3 假设某设备工作的时间是一非负随机变量7?= 咖 )，其分布函数 F n (y) 
有密度 八⑼ (对于2/ < 0,自然 F v (y) = f v (y) = 0). 求条件数学期望 E ( J 7 — 十彡 a )， 
即在设备已经工作了时间的条件下,它还能再继续工作的平均时间. 

设 P 切彡 a } > a 那么，根据定义（见第1小节）和§6的 （45) 式，可见 


[fa — a )^{r)^a}} 
P{rf ^ a ) 


E ( r / — a\r] ^ a )= 


/ n ("- a)/ ⑽ a} P(daQ _ J^°(y -a)f v (y)dy 

a } 


ir fv ( y) d y 
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有趣的是，如果随机变量7?服从指数分布，即 


Xe ~ Xy , 若 彡0, 

若2/ < 0, 


fv(y) = 


(21) 


0, 


则 E ?? = E (咖 > 0) = 1/ A ? 且对于任意 a > 0 5 E ( t ? - a\ V > a ) = 1/ A . 换句话说，在 

设备已经工作了时间 a 的条件下,它还能再继续工作的平均时间，与 a 的值无关，就 
等于 Er /. 


在 （21) 式的条件下，求条件分布有 


P { a 《 " < a + : r } F v (a x ) - F v ( a ) + P { r ] = a } 


P ( t ] — a < x |/? ^ a ) 


P { r ? ^ a } 


1 — F v ( a ) + P {" = a } 

[1 — e~ Ax ] 


[1 — e _ 入 ㈣ ) 卜 [1 


_ Act 


—入 a 


— e 


e 


_Ax 


1 — e 


—Aa 


l 

I 


— Aa 


— e 


e 


于是，条件分布 P ( r / - a ^ x\ V ^ a ) 等于无条件分布 P { r ? < z }. 指数分布这一特别 

好的性质是特 有的： 不存在其他分布，使其密度具有同样性质 P ^- a^xlv > a ) = 

P { r ) ^ a:},a ^ 0,0 ^ x < oc . 

例 4 (蒲丰 [ C . de Buffon ] 掷针问题）假设向平面上一无限长和单位宽的“走 

廊”（两条直线所夹的区域）上（图29)，“随机”地投掷一单位长度的针.问针（至少) 
与“走廊”的一侧相交的概率如何？ 

为解决所提（几何概率的）问题,首先说清何谓“随机”地投掷一单位长度的针. 
以€表示针落地后其中点到“走廊”左侧的距离.假设在区间 [0,1] 上均勻分布，而 

角沒在 [-7 r /2,7 r /2] 上均匀 ( P 0 ( da ) = da ) 分布（图 29). 此外，假设$和沒独立. 


29 


设 a 是表示事件针与“走廊”的某一侧相交.易见，如果 


} 


7 T 


( a ， x ) : | a | ^ € 0, - cos a U 1 - - cos a , 1 


B = 


2 


2 


2 


则 A = { cj ： ( K ) e S }， 因而所求概率为 


卩⑷ = EI a ( u ) = E / B (+)， eM ). 
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由于性质 G * 和 （16) 式，有 


= E [ E (/ B (^( u ;)^( a ;))|^( a ;))] 

E [/ 丑(咖)，咖))陶 ] P(cM 


Q 


tt/2 


E[I B (6(u)^(uj))\e(u;) = a ] P e ( da ) 


-tt/2 


7t/2 


/2 


2 


E / B ( a , CH)da = - 


cos ada =—, 


7T 


7T 


丌 


一 7r/2 


一丌 /2 


其中用到 


} 


E / b (^,^(^)) = P s ^ 0, - cos a U 1 - - cos a , 1 


— cos a 


2 


2 


这样，“随机地”向“走廊”中投掷的针落地后，至少与“走廊”的一侧相交的概率等 
于 2/7 T . 这一结果，可以作为通过试验确定 7 T 值的基础.实际上，假设将针独立地掷 

#次，并定义随机变量： 


1， 若第 i 次掷针与走廊侧边相交， 

0,若第 i 次掷针与走廊侧边不交. 

那么，由大数定律(例如，见第一章§5⑹式)，可见对于任意£ > 0, 

+…+狀 


m = 


p 


— p ⑷ 


0, TV — oo 


N 


在此意义上，频率 


2 


口 1 +- h TfN 


p ⑷ 








N 


7T 


于是 


2 N 


«丌 


+ … + 

正是这一公式曾经是用统计方法确定 tt 值的基础.在1850年 R . 沃尔弗 （ R , 
Wolf ) 掷针 5000 次,结果得的值 3.1596. 看来，这种方法，是在数值分析中利用概率 
统计方法最早的用法 之一， 也就是现代熟知的“蒙特卡罗 法”. 

注所讨论的例4 (蒲丰掷针问题）是几 何概率 的典型问题.在这类问题中，相 
当常见的是，由诸如“对称性”之类的简单几何直观,可见如何确定 “一 组基本 事件” 

的概率.（对照第一章 §1 第 3 和 4 小节，以及这一章的 §3.) 下面练习题的第 9〜12 

是几何概率的题. 

条件概 率的正 则性设 Un}n>l 是非负随机变童序列,则可见定理2的命题 


蠢 


f )， 




( ax .). 
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特别，若历，执，…是两两不相交的集合，则 

叫罗） (a.c.) 


P 


( 22 ) 


重要的是强调这一等式只是几 乎必然 成立.因而，对于 固定的 o; 不能将条件概 
率 P ( B \^)( cu ) 看成 B 的 測度, 也许除去一个零测集 f 之后，就可以对于每一个 

a； 6 使得 P(.| 貧)⑼是概率测度,然而， 一 般并非如此,看下面的例子.对于给定 

的执，…，以，(氏,执，…）表示不满足可数可加性 （22) 式的结局 o; 的集合. 
那么，特殊集合 f 为： 


^ = U*^(^1,^2, • * * ), 

其中对，中一切两两不相交的集合 B u B 2} - 求并.虽然每一个集合的 P- 测度 
等于0,然而集合/的 P- 测度可能不等于0 (因为 （23) 式的并含不可数项).例 
如，个别点的勒贝格测度为0,而集合，=[0, 1) 的测度等于1，因为10, 1) 是 
单点集{4, 0^x<l, 的不可数的和. 

假如对于每一个 cjGQ , 当条件概率 P(.| 貧 )M 是概率测度时，将更为方便.例 
如，因为这时计算条件数学期望 E ⑷妒 )(0；), 可以利用对测度 P(.| 泛）求平均 


(23) 


E (CI 没 ) M = / ^(w)P(du7|^)(a;) (a.c.) 


简单地实现（对照第一章§8 (10) 式). 

现在引进正则条件概率的概念. 

对于一切 lj eQ,B G 定义的函数 P (^ B \ 称做关于 

为正则条件概率， 如果： 


定义 


代数 


a 一 


a) 对于每一个 a; G n , P ( uj ; .) 是 f 上的概率 测度； 

A 

b) 对于每一个 P ( u ;; B ) 作为 a; 的函数是条件概率 P ⑼史 )(CJ ) 的变式 


之一，即 


P ( uj ] B )= P (^)( uj ) (a.cO. 

定理3 设 P ( uj ; B ) 关于爹是正则条件概率，《是可积随机变量，则 


E 網 M 


^( u )) P ( u ] du ) (a.c.). 


(24) 




证明如果则要证明的 （24) 式变为 

P(^)M = P ( u ; B ) (a.c.). 

并且由定义6的 b), 知此等式成立.从而， （24) 式对于简单函数成立. 

现在设 O 0和 U， 其中^ 是简单函数.那么，由定理2的性质 b), 有 

E 網 M = limEK，)M (a.c.). 
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因为对于每一个0； e Q , P ( uJr ) 是測度，则根据单调收敛定理，有 


limE(^ n |^)(^) =lim / ^ n (u)P{iV]du) ^ / ^(u)P{u;;du) 


Q 


Q 


由于€ = - r ， 故一般情形可以归结为上面已经证明的情形， 

系设芡=罗^，其中7；是随机变量，而⑷ 7?) 是随机向量，且具有概率分布密 

度/⑺(工， 2/). 假设 Eb (0 i < OG , 那么 




E l9(0\v = y] 


9{x)f^(x\y)dx, 




其中 f ^( x \ y ) 是条件分布密度（见 （18) 式)， 

为表述正则条件概率存在的基本结果，需要下面的定义. 

定义 7 设 ( E 方) 是可测空间， X = X ( u ;) 是值空间为五的随机元，货是 f 
的7-子代数.对于 wefi 和定义的函数 称做 X 关于 a - 代数貧 
的正则条件分布，如果： 


a) 对于任意 uen , Q(a;; 5 ) 是 (E 多 )上的概率 测度； 

b ) 对一个每 Q ( u ；] B ) 作为 o ; 的函数，是条件概率 P(Xe B \^)( uj ) 的变 


式之一，即 


Q ( UJ ] B ) = P(Xe B \^)( uj ) (ax .)， 

定义 8 设 € 是随机变量.函数 F ( co ; x),LJ e G E 称做 € 关于 (7- 代数 賞 

的正则分布函数， 如果： 

a ) 对 于每一 a ; e f 2，_ F ( a ;; a:) 是 1 R 上 的分布函数； 

b ) 对于每一 : r e M ， F { u )] x ) = P (<^ ^ : r | 安 )( oj ) ( a , a 》 

定理 4 随机变量 € 关于 cr - 代数貧 Q 的正则分布函教和正则条件分布 

永远存在. 

证明 对于每一个有理数 r e 虬 设 


F r ( cj )^ P (^ rl 穸) ㈣ ，其中 < t \^){ uj ) = E (/ { ^ r } |^)( o ;) 

是事件仪< r } 关于災的条件概率的一种变式.设是 R 上有理数集.如果 
G < rv , 则由于性质 B *， 有 P(f 彡 rjj ^) ( a . c .). 这说明，若 

{w : F rj (u) < F ri (cj)}, A = \JAij, 

则 P (^) = 0. 即使分布函数 F r ( uj),re { r ,}, 不单调的集合的测度等于 0. 

现在，设 


A 




» 4 


U 氏 

t=l 


Bi = ^ ： _ F ri (u；)}, 


B = 




第二章概率论的数学基础 


240 


. 因此，根据定理2的命题 a )， 有 F ri + 1 / n ( u ;) — 


显然/ 

F ri ( a ;) ( a . c .). 说明（在有理点上）不右连续点的集合 B 的测度也是0 : P ( B ) = 0 

其次，设 




C = {u : lim F n (uj) _ 1} U {a; : lim F n (u)) ^ 0} 


OO 


则 P ( C ) = 0 


那么，由于 < n } t S 7 ,n — 00 ,而 < n } j 0, 

现在，设 


Tl ― ^ — OC ， 


limF r ( o ;), 若 

^ u G AUBUC , 


F(lo;x)= 


r | a : 


外)， 


其中 G (: r ) 是 IR 上的任意分布函数.下面证明函数 F ( u ;; x ) 满足定义 8. 

设 w 《 A ( JB ( JC , 那么 F(oj ； x) 显然是; r 的不减函数 * 对于 : r < a / < r ， 当 r 丄 


时，则 


F(cj]x) ^ 尸 ( 0 ； ;〆 ）彡 F(u] r) = F r (u) i F(u)\x). 


因此 F{oj; x) 右连续.类似，有 


lim x) = 1， lim F(lo; x) = 0 


由于当 weZUBUC 时， F ( lo ; x ) = G ( x ), 则对于每个 a ； G fU ^ wrc ) 是 R 上的分 

布函数，即满足定义 6 中的条件 a ). 

根据构造， P(S < r \^){ u )) — F r { u )) — F ( uj \ t ). 如果 r i x , 则由于已经证明的 
F ( u ;; x ) 的右连续性，可见对于一切 a; G Q, 有 F(u ； ;r) | F ( u - x ); 由定理 2 的命题 a) 
知，几乎处处有 PR 彡 r\^)(uo) P (^ ^ x\^)(uj). 因此, F ( u ;; x ) = P (^ < x\^){u)) 

(a.c.). 于是,定义 8 的性质 b) 得证. 

现在证明变量 < 关于妒的正则条件分布存在. 

假设 F ( u ; r ) 是上面建立的函数.设 




F{uj\ dx ), 




其中的积分是勒贝格-斯蒂尔切斯积分.由勒贝格-斯蒂尔切斯积分性质可见（见 
§6第8小节），对于每个固定的 CJ e f 2， Q ( u ; ; B ) 是 B 的测度.我们利用 “适当集合 
原理” （见§2第1小节)，证明 Q ( u ; B ) 是条件概率 P ( B )^)( w ) 的变式. 

设酽是 ^( R ) 中使 Q ( cj ; B ) = P(«e € B \^){ uj ) ( a . c .) 集合 B 的全体.由于 
F ( uj ; x ) 几乎必然等于 P ((彡 x \^)( u ), 可见形 如 B = (― oo , xj , x e M , 的集合属于 
集系酽.说明 集系酽 也包括一切形如 ( a , 6] 的区间，以及由有限个不相交形如 ( a ,6] 
的区间的和组成的代数那么，由测度 Q ( u ; B ) (其中 a ; 固定）的连续性，以及定 
理2的命题 b ), 可见 F 是单调类.因为 j g [ 方 ( M )， 所以由 §2 的定理1，有 

j(R) = (j(^) C <j{^) = /i(^) =r C ^(R). 
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于是 F =义 ( R ) 

利用不复杂的拓扑分析，可以将定理4关于存在正则条件分布的论断推广到在 
博雷尔空间取值的随机元.现在引进如下定义. 

定义9可测空间 ( E ^) 称做博雷尔空间，如果它按博雷尔等价于数轴的某一 
博雷尔子集，即存在一一映射$ = (五， 篆)—使得 

1) < p ( E ) = {( p { e ) : e e 雾}是 ^( R ) 的某一集合； 

2) f 为篆—可测： y ~ l { A ) e ^(£：) n ^ W ]； 

3) v ?- 1 为 可测： e 

定理 5 设； i ： = X { u ) 是在博雷尔空间（五，爹）取值的随机元.那么，存在 X 
的关于 a - 代数芡的正则条件分布. 

证明设# = 是定义9中的函数.由于定义9中的2)， ^{ X { u )) 是随机变 
故由定理 4 ,随机变量 ^ p ( X ( u ;)) 关于芡的条件分布 4), 4 €外 E ) 门义 ( R ) 


□ 


蜃 


有定义 


引进函数 Q ( oj ; B ) = Q ( oj ； ip ( B)),B 由定义9的 3) ip ( B ) e ip ( E ) f ) J ^( R ), 

因而 Q ( u ; B ) 有定义，显然，对于每二个 lj , Q ( uj - B ) 关于 B(B 6 是测度.现在固 

定5 €爹.由于 p = W ( e ) 是一一映射，有 


Q(^ ； B) = Q ( lo ; <p(B)) = P {^(^) G = P{XG B]^}{u)) ( ax ,)_ 


于是， Q ( o ； ; B ) 是 x 的关于萝的条件正则分布. 

系设久= X(uj) 是在完全可分度量空间 (E,^) 取值的随机元.那么，存在 X 
的关于爹的正则条件分布.特别，对于空间（脱'居 ( R n )) 和 ( R 00 ,^ , ( R 00 )) 存在这 

样的分布 • 


□ 


其证明可以从两方面 得到： 第一,定理5;第二，由拓扑中著名结果知，这样的空 
间是博雷尔空间. 


贝叶斯定理的推广由上面阐述的条件数学期望的理论，可以得到在统计学 

中用到的 贝叶斯 定理的推广. 

回忆 .逆 r = { 山，… , An}(P(Ai) > 0) 是空闾 n 的分割,则由第一章 §3 (9) 式的 
贝叶斯定 理知，对于任意 S ， P(S) >0, 有 


8 




P ⑷ P (寧 d 

9 

I 

因此,如果沒= EIU 叫 i Ai 是离散型随机变量,则根据第一章§8的 （10) 式，有 

n 

(次) p(si 為） 

Tnr / r\\ I tvi i=l 


^(A Z \B) = 


(25) 


E 剛 S 卜 ^ 


(26) 
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或 


g(a)P(B\0 = a)Pe(da) 


E 刚问 = 


(27) 


P(B10 = a)Pe(da) 


其中 P e (A) = P{6 e A}. 

由刚引进的 E [ 5 (6>)| B ] 的定义，不难证明， （27) 式对于任何事件 B ， P(B) > 0,以 
及随机变量0 二 0(0；) 和函数9 = g ( a ) 且 E | g ⑼ | < 00,仍然成立. 

现在，对于某 a - 代数 C 的条件数学期望 E [咖 )1 罗],考虑 （27) 式的 


类似 


设 


Q(B) = / g(e^))P(duj), SG 妒， 


(28) 


B 


则由⑷式可见 


ng(eW\ = 

与 a - 代数芡同时，再考虑 a - 代数芡〜则由 （5) 式可见 


(29) 


P(B) 


(30) 


Q 


或根据在勒贝格积分号下的变量替换公式，有 


P(B) = 


P(B\0 = a)P e (da). 


(31) 


由于 


Q(B) = Blg(e)I B ] = E[g(e)E(l B \^ 0 )l 


可见 


Q(B) = J 


g(a)P(B\0 = a)P e (da) 


(32) 


现在假设这些条件概率 P(B\6 = a) 都是正则的，并且可以表示为 

/ p(co y a)X(dcv) , 

Jb 


P(B\e^=a )= 


(33) 


其中 p = p(uj ； a) 是非负（对两个变量）可测的函数，而 A 是⑴，芡）上的某 a - 有限 
测度 •设 B \ g ( e )\ 


现在证明，依概率1,有 （广义贝叶斯定理) 


< 00 . 


g(a)p{uj\a)P Q {da) 


= 


(34) 


p(u)]a)Pe(da) 


为证明 （34) 式，需要下面的引理 
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引理设 ( n } ^) 是某个可测空间. 

a) 设/ X 和 A(/x 《 A) 是 a- 有限测度，/ = / M 是多" — 可测函数，则 


dfi 


(35) 


/ d " = 


f^dX 


dX 


Q 


Q 


(即如果其中一个积分存在，则另一个也存在，并且二者相等). 

b ) 如果 y 是带符号的測度， 而（ X 和 X ( ft 《 A ) 是 < r - 有限測度，且 p 《 A ， 


du dv d/z 

_ — ^ W * 

dA _ d/x dA 


(A — a.c.) 


(36) 


和 


dp du / dfx 

dfi dA / d 入 


{p — a.c.) 


(37) 


证明 a ) 由于 


乂 (芸) 


dA, A G ^, 


"⑷ = 

可见对于任意简单函数 / = E (35) 式自然成立.一般情形,由表示/ = /+-/- 

和单调收敛定理可以得到（ 35 )式（对照§ 6 (邪）式的证明) • 

b ) 由命题 a ), 其中设/ = div / d ) u , 可得 


L (£) dfx= L (S) (S) 


i ^( A ) = 


dA 


因此 " 《 A ， 故 


di / 


i ^{ A ) — 

由于集合 4 的任意性和§6的性质 I ,可得 （36) 式 

由 （36) 式，以及如下等式可得 （37) 式： 


了 dA 


dA 


A 


d/x 


dfjL 


M W : TT ~ 0 


dA = 0 


dA 


dA 


{山 :装 =0 } 


(在集合 {w : d / x/dA = 0} 上 （37) 式的右侧可以任意决定，例如,令其等于 0) 

为证明 （34) 式注意到，由傅比尼定理和假设 （33), 有 


□ 


Q ⑻= 


g(a)p(u) ； a)Po(da)\ X(du)) 7 


(38) 


P ( B ) = 


p(uj] a)Pe(da) X(duj) 


(39) 


OO 


那么，由引理，有 


dQ — dQ/dA 

dP = dP/dA 

由此并考虑到 （ 38 )，( 3 9) 和 （ 2 9) 式，得 （34) 式 


(P — a.c.), 
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注如果代替随机变量 A 考虑在某一可测空间 ( E ^) 取值的随机元，则 （34) 
式仍然成立（只要把在] R 上积分换成在五上积分). 

下面讨论 （34) 式的某些特殊情形. 

假设 a - 代数芡由随机变量€生成:歹= a ⑹， 


假设 


q ( x ] a ) A ( dx ), A G j ( R )， 

其中 g = g ( x ; a ) 是关于两个变量非负可测的函数, A 是 ( R ,^( R )) 上的某一 a - 有 
限测度.那么,由勒贝格积分在符号下的变量替换和 （34) 式，可得 


(40) 


P (^ e A \9 = a ) 


A 


g ( a ) q ( x ; a ) Pe { da ) 


OO 


z = 


(41) 


q ( x ; a ) Po ( da ) 


特别，设 （WM = E 是两个离散型随机变量.那么，作为 a 

选计数测度 ( X ({ xi }) = l，i = 1，2,...)，由 （40) 式，得（对照 （26) 式） 

y^ff(aj)P{^ = Xj\6 — aJP{^ = aj} 

= Xj\e = ai } P {0 = aj 


ELg (離 = a ] 


(42) 


现在设 （0,0 是密度为 fe ， d 〜 x ) 的两个绝对连续随机变量，则由于 （19) 式，可 

见 （40) 式成立，其中 g ( x , a ) = /^( x | a ), M A 是勒贝格测度.因此 


9 ( d ) f ^\ e ( x \ a ) fe ( a)da 


Efe (6»)|^ = x [ 


(43) 




f ^ e ( x \ a ) f 0 ( a)da 


— OO 


条件数学期望的换算公式我们再引进广义贝叶斯定理（见 （34) 式）的一种 
形式，其（下面的）提法在与概率测度变换有关的问题中特别适宜. 

h 

假设 p 和乒是可测空间 ) 上的两个概率測度，且測度乒关于 
測度 P 绝对连续（记作 f 《 P ), 而 dP / dP 是測度庐关于测度 P 的拉东-尼科迪 
姆导数.设妒是，(貧 的子 a- 代数; E (.| 安）和 E (.|^) 相应为按測度 P 和 
測度庐关于芡的条件数学期望；《是非负可測的）随机变量，则下列“条件 

數 学期望的换算公式” 成立： 


* 


定理 


dP 




dP 


E 阶）= 


(P — a , c _). 


(44) 


dP 




dP 


dP 


^dP 




dP 


dP 


dP 


M_B_ _ 




dP 


dP 


I A X I ^ — 


W 


dP 




dP 


Ia x 


dP 


U-A 




dP 


dP 


^dP 




I A x 


X 


dP 






dP 


dP 


^dpl = Wa^ 


从而，对于非负随机变量证明了 （45) 式.对于任意可积随机变量《，一般情形的 
证明，完全类似于§6的 （39) 式的证明 


□ 


对于使条件数学期望 E ⑷資）存在的一切随机变量$公式 （44) 成立 

证明首先注意到，事件 


dP 


E ^ 


^ =0 


dP 


的 P 测度（以及 P 测度）等于 0. 事实上，如果4 e 笑，贝 ij 


dP 


dP 


E ^ 


^ dP = 


dP = P ⑷ 


二 dP = 


dP 


dP 


A 


A 


A 


因而 


dP 


• 


^ I = 0 ? = 0 


p (4) = p 


0 J : 


dP 


设 O 0. 根据条件数学期望的定义， E (《| 芡）是芡-可测随机变童，且对于任 

意 A e 穸，满足 


E [ I A E (^)\ = E { I A ^} 


(45) 


因此，为证明 （44) 式，只需证明 （44) 式右侧的（貧-可测）随机变量满足下面的不 


等式 


dP 


㊈ 貧 


Ia x 


= E [/ a ^]^ 


(46) 


dP 






dP 


利用条件数学期望的性质，以及§6的 （39) 式，可得 
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10. 充分统计量和因子分解定理 上面引进的广义贝叶斯定理 （(34),(41) 和 

(43) 式)，是数理统计中“贝叶斯方法”的基本工具之一.它回答如下 问题： 根据对 
与随机参数0相联系的随机变量$的观测结果，如何重新分配关于随 机变量 0的知 


识 


下面将讨论条件数学期望概念在由观测结果估计 未知参数问 题中的另外一种应 

用.（需要 强调： 与上面讨论的0是随 机变量 的情形不同，现在是事先给定的参数 
集 © 中的某一普通参数（对照第一章 §7)). 

实质上，这里说的是关于数理统计中的一个重要概念 

子代数）的概念. 

设⑴,， ） 是某一可测空间，沪= { P 0 ,^€0} 是依赖于参数的概率测度 P 0 族， 
其中0属 于参数的集合 ©. 常称组合篆= (12,^,^) 为 概率-统计模型或概率-统 
计试验 （对照第一章 §7). 

为说明下面引进的定义10,假设有结局 w 的某一 3 T - 可测函数（统计量)，和 
由该函数 r = T ( u ) 诱导的 a - 代数芡= a ( T ( u )). 显然，且一般在，中 
可能有不属于貧的元素（即叉比芡“丰富”).但是，完全可能出现这样的情 形：从 
定义的角度对什么样的参数0 “作用”使得除了关于 T = T { u ) 的知识之外，任何关 
于参数0的真他信息，没有也不需要有.在这种意义上，统计量 T 自然应称 为充分 


充分子 a - 代数（或 


a— 


的 


注1在 T(uj) 二 u; 的情形下，即已知的是结局本身（而不是其函数)，可以指出 
如下两种极端的情形. 

一种是对于一切彡€ ©，所有概率 Pa 都相等.显然，在这种情形下，任何结局 a ; 

都不能提供关于参数0的值的任何信息. 

另一种情形是,所有概率 h 的承栽子，“处于”，的不同子集中（即,对于任何 
两个参数心和化，测度 P 01 和 P & 是奇 异的： 存在两个集合（承载子）和 S ^ 2 , 


使 


P& (Q\Q &1 ) = 0, P^ 2 (fi\^ 2 ) = 0, D fle 2 = 0 

成立).在这种情形下，参数0的值由所得结局 a ; “ 唯一” 确定. 

对于这两种极端情形没什么兴趣，人们感兴趣的是,所有测度 P 0 都等价 的情形 
(而这时其承载子不可区分). 

现在，我们把 a - 代数沪= aCr ( o ；)), 以及更一般地把 任何子 a - 代数妒 g 

视为在试验结局为 w e Q 时，所获得的“信息”. 

有了这样的信息災,（像贝叶斯定理的情形一样）自然关心概率 Pa 如何变化，即 
相 应的条 件概率 Po(^)H 如何.这时（与注1的第一种情形类似）明显,假如这些 
$率对于所有0；不依赖于&与由“信息”安可以得到的相比，则由“更多的信息” 
^3^得不到关于参数0的任何更新的内容. 

这时， “信 息”妒可以称为 详尽无遗的， 或者习 惯上, 称做充 分的. 
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下面的定义表达了上面的论断. 

定义10 设五二风，,少）为概率-统计模型，妒= { P e ,e € 0} 和篆是 

的子 <7 -代数.称子代数安对于妒族是充 分的， 如果存在不依赖 

于条件概率 V 9 ( - \^)( uj)(e €0, WGO ) 的变式，即存在函数 P ( A ; u ), A ^ 

使对于一切乂€^和6^0，有 


卩沒 ㈤ 貧 )(0 ； ) = 尸 (A;u;) ， (P 广 ax .)， 


(47) 


即对于一切6>€© ? P (々0；) 是 P 0 ( A \^)( u ;) 的变式 


如果芡 = ct ( T ( uj )), 则统计量 r = T ( oj ) 称做少 族的 充分统计量. 

注 2 在统计研究中，求充 分统计 量的重要性，在于力图寻找结局 o ; 的这样函 
数: r = T ( cj ), 使之 在保留 （关于参数0值的） 信息 的情况 下压缩数据. 例如，设想对 

于很大的71,有0； = ( xi , x 2y - ' ' , X n ),Xi G R . 那么，由于现有数据 

维数 n 很大,使建立参数0的“好”估计量（例如，第一章 §7) 可能成为很困难的问 

题.不过，完全可能出现这样的情形（这在第一章§7我们已经见到)，为建立参数的 
“好”估计量，完全不需要知道原始数据 


的 




， 工 TI 


,^ n , 只需构造统计量的数据的和: 


T 1，$2，’ 


+ ^2 H - h X 


显然，这样的统计量确实可以本质地压缩了数据（与计算量)，同时对于建立参 
数设的“好”估计量,也是充分的. 

下面的因子分解定理提供了，保障 a - 代数災对于概率测度 p 0 族少二 { P (9 , 沒 e 

0} 的充分性的条件. 

定理7 设多= { Pe,e e ©} 是被控制测度族，即存在网，）上的 

測度 A , 使对于 (9 e ©，测度 P 0 关于 A 绝对连续 （ P 0 《 A ). 设 


有限 


(T — 


dP e 


dX 


是測度 P 0 关于测度 A 的拉东-尼科迪姆导数. 

子 CT 一 代数芡对于概率测度族少是充分的，当且仅当函数义 X ) ( W ) 有因子分 
解： 存在非负函数 纪)⑼和 h ( u ;), 其中 ^ A ) ( u ;) 是爹- 可測函数， ^(0；) 是义-可 

测函数，且对于一切0 e e , 有 


ffd X) M = 90 X) (^)h((^) (A- a.c.), 

假如把測度 a 取为测度 p 0 。， 其中知是 e 的某个参數，则对于 a - 代数貧的 
充分性，充分和必要条件是：导数 


(48) 




9 e o) n 


本身为芡-可測的. 
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证明 1) 充分性. 根据假设作为控制测度 A 是 a - 有限测度.表示存在可 
测不相交集合仏， A ; 彡1,使0 %且0 < A ( fifc ) < oo,k ^ 1 

建立测度 




1 n •) 

¥ f + A ( sT fc ) 


入 ㈠ =E 


k^l 


该测度有限， A ( Q ) < OG 且 X ( Q ) > 0. 不失普遍性，可以认为 A 是概率 测度: A (⑺=1, 

那么，由条件数学期望的换算公式（44)，对于任意可测有限随机变量 X = 


刷，有 




A 


dA 


E〆 攀) 


(P 0 — ax.). 


(49) 




迫 I 萝 


E 


A 


dA 


根据 （48) 式，有 


dP 0 dP 0 dA 

—— ——— X —二 


dA 


dA 




= 9 o X) 


m v • 


(50) 


dA 


dA 


dA 


dA 


dA 


因此 （49) 式有如下形式 


dA 


A) 




X 


dA 


E 0 ( X \^)= 


( P $ - a . c .). 


(51) 


(de 


X ) h ^\^ 


A 


dA 


但是为芡-可测，且 


dA 


EriXh ^ W 


dA 


E ,( X |^)= 


(P 0 — a _ c .) 


(52) 


dA 


h ~ ^ 


A 


dA 


这里的右侧与 0 无关，从而性质 （47) 成立.于是，根据定义10 


代数 G 是 


，汀一 


充分的. 


2) 必要性 _为证明必要性需要有补充 假设： 测度族沪 = e 0} 不但被 

某 a - 有限测度 A 控制，而且存在某个％ e ㊀ ,使一切测度 Pa 《即对于任意 
沒 G ©, 测度 P 0 关于测度 P 0 。 绝对连续.（一般情形的证明变得比较复杂，参见 [1061 

的定理 34.6,) 

这样，货是充分 a - 代数，即满足性质 (47). 假设《 p & o ,0 ee , 证明，对于 
每一个0 G G 7 ff ^ o) = dP " dP 办是資—可测函数. 
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^ A 那么，对于每一个彡 e 0，利用条件数学期望的性质，可得（其中 


^ 0 o ) ^ dP ,/ dP , o ) 


Pe(A) = B e I A = ^eBe(I A \^) = B 0 E Oo (I A \^) = E^ o [ 5 ^ j) E 0o (/ 4 |^)J 

([ E , h (^ o) |^)] X [ E 以 „)]) 

=E 0 o E 0 o [^E ec X^ o) |^)i^] - E 0 J A Ee i} (g { 0 9{)) \^) = f E 0 n (H 貧 ) dP 知 


=E 0 o E 0 n [^ j) E, n (/ A |^)!^j = E, 


0 


A 


从而，导数的 变式# n) = dpjdp 知是貧-可测函数 ^ 0 o ( 9 ( f o) \^y 

这样，当 A 二 P 如时，由 a- 代数芡的充分性，可得因子分解的性质（48)，其中 


砍 0) M 


( Oo ) 


,h = I 






对于一般情形（仍然需要补充假设《 P 〜， 0， e ㊀ )，有 


dP @ _ dPe 

dT ^ dpz x ~dr 


dP 


(A) 


dA 


0 


记 


dP 


g ( a o) = 9 { e °\ 


— -沒 0 


dA ’ 


得所要证明的因子分解表达式 （48) 

注3 有益地强调，对于任意测度族少= { P ^,^ e ©}, (在没有任何控制型假 

设的情况下） 充分 CT - 代数显然存在.作为这样的代数,可以取最“丰富”的 

代 数义. 




a— 


事实上，这时对于每一个可积随机变量 X , E e ( X \ J ^) = X ( P e - a . c .), 从而性质 


(47) 成立 • 

显然，这样的充分 C 7- 代数没有什么意义，因为这时不会有任何“数据的压 缩”. 
寻 找最小 tr- 代数妒 min , 即一切充分 cr- 代数的交才有真正的意义（参见§2的引理 
1的证明,可见最小 (7- 代数存在)，然而明显地建立这样的 (7- 代数并不容易（不过 

可以参见 [107] 第二章 §13〜 §15). 

注 4 ，假设妒= { P 0 , ^€0} 是被控制族 （ P 0 《 A , 0 e 0, A 是 <7-有限测度), 
而对于一切 6 eS , 密度义 A) = ( rfP e / dA )( u ;) 可以表示为 


9 ( e X) H - G { 9 X) (T(u))h(^ (A-a.c.), 

其中 T 1 = T ( u >) 是取值于集合五的（及在丑上分出的 (7 - 代数家）某 來1 莕— 可测 
函数（随机元，见 §5). 设函数 c 4 A) (<)，（ G 五，和 h ( oj ), cjen , 是非负的且相应为寥 - 
和，-可测的. 

比较（ 48 )式和（ 5 3)式,可见 (7- 代数罗 * = < t ( T ( uj )) 是充分的，而函数 r = T ( w ) 

(在定义10的意义下）是充分统计量. 

注意，在被控制的情形下，通常正式以满足因子分解式 （53) 的函数 r = TV ) 当 

作充分统计量的定义. 


(53) 
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例5 (指数族）假设 D =脫'叉= 雜”， 测度 P 0 是按如下方式构 造的： 对 

)， A G IR ， 则 


于 w 二 （ Xl ， X 2, ■ • 


，x 


P e (duj) = P e (dx l )^^0(dx n ), 


(54) 


其中测度 P e ( dx ), x € R , 有如下 构造: 


P^(dx) = a ⑹ 

这里 ， s = S ㈤ 是某一 可测函数，而 aW ,^),7 W ， A ( dx ) 含义明显.（测度族 

Pe ^ O ^ Q , 是称为 指数族 的最简单例子 .） 由 （54) 式和 （55) 式，可见 


(55) 


Pe(duj) ^ ， ( 沒 )/ ⑻ [ 咖 1 )— ，七 (〜)] 7 (:^) . --7(^n)dx! 


(56) 


dx 


由 （56) 式与 （53) 式比较，可见统计量 T ( uj ) - ♦!)+•• -+5( x n ) T a ; = ㈤ ，…， x n )， 

(对于所考虑的指数族）是充分统计量. 

如果对于 


) ，记 AM 

原则组成的）测度 P 0 的构造，使& x n 关于这些测度是独立同分布随机变量 


… , X n ( uj ) = rr n ，则（按 测度的直积 


(工1， 


UJ = 


，工 


工1， 




序列 


于是，根据序列义咖)，… , x n { uj ) 建立的统计量 T ( lo ) = s ( XxM ) + - 
(^ nM ), 是充分统计量 • （在练习题 2 0中要求回答，这一统计量是否最小充分统 


• # 


S 


计量) 


例6 设 D =义(，)，参数 0>0 且对于 

贝格测度 A 的）密度为 


($1， … 1)，（关于勒 


UJ 




扩' 若0彡 Xi 彡仏 i = l ， 

0，若不然. 


dP e 


n ， 


• • * 


M 




dA 


如果 


T (^) = max x u 


1，若心 > 0 ，i = 1， 

0, 若不然， 

e ~ n , 若 o 彡 

若不然， 


， n ， 


• » 


h(uj) 




GT ⑴ 二 


0, 


则 


dP e 


M = cf 


( 57 ) 


dA 


于是， T { uj )= 


x , 是充分统计量得证 


mi 


l ^ i^n 
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无偏估计量，拉奥-布莱克韦尔 （C. R Rao-D. H. Blackwell ) 定理假设 
© 是直线上的一子集，箩 = = { P e ：0 e ©}) 是概率统计模型.现在考虑的 

问 题是： 建立参数0的“好”估计量. 

任何随机变量？=兩岣都将视为参数0的估计量（对照第一章 §7). 

下面的定理表明，充分 a - 代数的概念可以改进估计量的“质量”.估计量？的 

质量,是用其对参数0的真值的均方偏差来衡量的.更确切地说，称参数0的估计量 

0 是无偏的，如果 E 0 }6\ < co 且 Ej= 6> (对照第一章§7性质 2). 

定理8 (拉奥和布莱克韦尔） 设罗 对于概率测度族少是充分47 -代数，而 
9 = 9( u )) 是参数0的某一估计量， 

a) 如果？ 是无偏估计量，则估计量 


11 




T = E^(0|^) 


(58) 


也是无偏的， 

b) 估计量了在如下意义上优于估计量 9: 


E e ( T -9) 2 ^ B 0 ( O -9) 2 , 9 ^e 


(59) 


证明性质 a) 由下列等式可见 


为证明性质 b) 只需注 意到： 由延森不等式（只需在练习题5中设〆4 = (x — 9)% 


B 




有 


[Ee(e\^)-d )\ 2 ^Ee[(G-e) 2 \^ 

在不等式两侧同时求数学期望 E,(-), 得要证明的 （59) 式 

12. 练习题 

1.设 f 和？7是独立同分布随机变量,有定义.证明 


□ 


E (张 + ”）= E (”|( + 77 ) = 

2.设6,6,…是独立同分布随机变量，且 E&I <oo. 证明 


(a.c,) 


2 


S n 


e( 6K，& +1 ，…) 


(a.c.), 




n 


其中 = Cl + * - + Cn- 

3. 假设对于随机元 { X , Y ), 存在正则分布 P X ( B ) - P(y G B\X = x ). 证明，如 

^： E \ g ( X , Y )\< oo , 则朽- 


有 


a-c” 


j g { x , y ) P x ( dy ). 


E[^(X, = X]= 
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4. 设随机变量€的分布函数为 F ^( x ), 证明 


6 


xdF ^( x ) 

柳 ）一6 ⑷ 


E ⑷ a < ( 彡 fe) 


(假设⑷ >0). 

5 .设 P =分⑻是凹（向下凸）博雷尔函数, E | p(OI 
望， ( ax .) 有延森不 等式： 


证明，对于条件数学期 


< oo. 


9 imm <： n 9( o \^} 


6. 证明随机变量€和 a - 代数災独立（即对于任意 罗, 随机变量^与 I B 
独立)，当且仅当对于每一博雷尔函数贞 x )， E | p(OI < oc ， 有 ^[ g {^ W ] = Efi ?(0. 

7 . 设€是非负随机变量，歹是 a - 代数罗 > g ，， Q 是由等式 Q 04) = /JdP 

( ax .) 的充分和必要条件为 Q 是 


定义在集合上的测度，证明， E (^|^) 
有限测度. 


< 00 


8_ 证明条件概率 P(AjB) 在如下意义上“连续”：如果 limn 瓜 = 乂, lim„ 凡 
且 P ( B n ) > 0， P ⑻ > 0,贝 lj lim n P ( A n IB n ) = P ( AIB ) 

9 .设 = (0，1)，， 二方 ((0,1 ))，P 是勒贝格 测度； X ( w ) 和 Y{ uj ) 是在 (0,1) 上 

均勻分布的两个独立随机变量.考虑第三个随机变量 Z( cj ) = | X ( o ;) - y ( o ;)| 是“ 点” 

和 Y(w) 之间的距离.证明 Z(u) 的分布函数 F z (z) 有 密度： 


B 




« 


2(1 — z ), ^ 0 ^ ^ 1, 

若不然. 


fz ( 之 )= 


0, 


(由此可见 EZ = 1/3.) 

10. 向半径为丑的圆 {( x , y ) : x 2 + y 2 < i ? 2 } 上“随 机地” 掷两点禹和欠 2 ，即 
独立地选两点且选到点▲(內，久), i = 1,2,的概率（在极坐标系中） 为： 

P G dr, 6i G d^}= 

证明点応和乂 2 之间的距离 p 的分布密 度为： 


rdrdO 
nR 2 ’ 


i = 1,2 


卜讎 ㈤ -;/ 1 - (忐 ) 2 ， 

L 」 


2 r 


fp( r )= 


7 rR 2 


其中 0 < r < 2 i ? 


在单位正方形中（其顶点为 (0,0),(0,1),(1,1),(1,0)) “随机地”（解释何意!）选 
一点 P = ( x ， y ). 证明该点 P 离点 （1,1) 比离点 (-1/2,1/2) 更近. 

I 2 . 4和5两人约好在 7 点到8点之间会面.但是两人忘记了确切的会面时间, 

只好在 7 点到 8 点之间“随机地”到达会面地点，并且最多等10分钟.证明他们能 

见面的概率等于 11/36. 


11 


t 
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13. 设 4 X 2 ，…是独立随机变量序列不，而是由馬生成 
的 a - 代数.证明&和 S 3 关于 a ( S 2 ) 条件独立. 

14. 称 cr - 代数賞 i 和妒 2 关于 


代数妒 3 条件独立，如果对于任意次6 


cr 


- 1 , 2 , 


P(A 1 A 2 ^ 3 ) = P(A 1 ^)P(A 2 \^s). 

证明芡 i 和芡 2 关于芡 3 条件独立,与下列任何条件之一等价 （P - a . c .)： 

( a ) 对于一切 ▲ 6 ，有 P ( Ai \ a (^ 2 \ J ^ 3 ))= P ( A !|^ 3 )； 

( b ) 对于一切集合 B 其中集系少 i 形成 

P(BK^ 2 U^3)) = P(5|^3 )； 

( C ) 对于一切分别属于 7 T - 系少 i 和泛^的集合执和 S 2 , 而且其中罗\ = ( T (^) 

和， 2 = a (少 2 )，有 ^ P ( BxB 2 W {^2 U 罗 *3)) = P ( B 1 |^ 3 ) P ( B 2 |^3)； 

( d ) 对于一切 a (罗 2 U 妒 3 )-可测且有数学期望 EX 的随机变量 ； T (见§6定义 

2), 有 E ( X | a (^ 2 U ^3)) - E ( X | 史 3 ). 

15. 证明关于条件数学期望的法图引理的如下扩展变式（对照定理2之 （ d )). 

设概率空间⑴， fP ), 而 (^ n ) n > l 是随机变量序列，且数学期望 E 《„， n 彡1而 
Elim ^ n 存在（亦可取 士 00 为值; 见§6定义 2). 

假设芡是^中事件的子 (7 - 代数,而且当 


系泛1 = W ^ l )， 有 


7 T - 


时， 


a — > 00 


，卜 °’ （p - a . c ，)， 


EOim ^ l ^) < \ jmE ( U \^), (P - ax | 

16 . 假设像上题 一样 , 对于随机变量序列 « n ) n ^ l , 数学期望 Ee„,n^l, 存在，而 
安是少 中事件的子 tT - 代数，且 


sup lim E {\^ n \ I mn]>k} \^) =0, (P — a . c .) 

打 /c ^ oo 

证明，如果 — €(P - a . c ,), 且数学期望 E 匕， n > 1，存在，则 


(60) 


E (《，)— E(，)，（P — a 4 

17. 假设在上题的条件下，式 （60) 换成满足 条件: 对于某一 a > l , 

supE (|^ n | a |^) < oo , (P — a . c .). 


n 


那么， 


E (《 n | 貧 ) —E ⑷史)， （ P - ax ,), 

18. 设对于某个 证明 E ^ n |^) ^ EKI ^) 
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19. ⑷设 D(X|y) = E{[X — E(X|F)] 2 |y}， 则 DX = EB ( X \ Y ) + BE ( X \ Y ). 

(b) 证明 cov ( X , Y ) = cov ( X , B { Y \ X )). 

20. 说明例 5 中的充分统计量 T(lv) = siX^)) + … + 5(X n (o;)) 是否最小的. 

21. 证明因子分解公式 (57). 

22. 对于第10小节的例5,证明 


E 0 ( X ,| T ) 


T , 




2n 


其中对于 


{xu 


), Xi ( uj ) = 


i ™ 1, 


，： r 


，n 


u ?= 


§8. 随机变量 n 


i. 方差，协方差和相关系数在第一章引进了简单随机变量的一些简单数字特 

征：如方差、协方差和相关系数.在一般情形下也相廖地引进这些概念.具体地说， 
假设 （fi, 叉, P) 是概率空间，而随机变量《=《(…有数学期望 E《. 


称 


2 


D 卜 E (€ - EC ) 


为随机变量€的方差. 

称 (7 = 为随机变量《的标准差. 

如果随机变量 C 有高斯（正态） 密度： 


( X — J7 J-) 


fd x ) 


(i) 


， cr >0, — 00 < X < +00, 


e 


y /2 na 


则 （1) 式中参数的含义非常 简单: 


2 




m = 


这样,称 为高斯分布或正态分布的随 机变量 （ 的密度，完全决定于其均值 m 和 
方差 <7 2 .(因此，对于参数为 m 和 cr 2 的正态分布，常使用记号:^〜 N ( m ， cr 2 ).) 

现在假设 ( Cr ?) 是随机向量，称 


cov( 《， r?) = E( 《 - E^)(tj-Etj) 

为《和 r? 的 协方差 （假设其中的各个数学期望存在). 

如果 COv(^, 7 ]) — 0, 则称随机变量 《和 7?不相关. 

如果0 < Df < oc, 0 < L > r ] < oo, 则称 


( 2 ) 


cov ($ /?) 


p(^ v )= 


(3) 


为随机变量（和|?的相 关系数 
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在第一章§4曾讲述了简单随机变量的方差、协方差和相关系数的性质.在一 
般情形下,这些性质的提法完全类似. 

设随机向量€ = (6, ... ， & ) 的分量有有限二阶矩.称 

为随机向量 ( CrV ) 的协方差矩阵，其中化- COV 
由于对于任意\ 


阶矩阵= ( Rij ) 

(&，心).显然 ，只 是对称矩阵.此外， 


nxn 


1，…， n ， 




2 


= e - E^)Ai ^ o, 




可见只是非负定矩阵，即 


^ : XiXj ^ 


0 


hj=l 


下面的引理说明逆命题亦成立 


引理 


阶矩阵丑= ( i^) nxn 为随机向量（《，7?)的协方差矩阵的充分和必 

要条件是， R 为对称和非负定矩阵，或者等价地：存在 n x A:(l < fc < n ) 阶矩阵 j 4, 


使 


R = AA t , 

其中上标 “ T ” 是矩阵的“转置” 符号： 是矩阵 A 的转置. 

证明上面已经证明，任何协方差矩阵都是对称和非负定矩阵. 

反之，设 H 是对称的非负定矩阵.由矩阵理论知，对于任意对称非负定矩阵,存 
在正交矩阵 Z (即 zz t = e 是单位矩阵)，使 


Z t RZ = D , 


其中乃是对角线上元素为非负⑷ > 0，1 = 1，…， n ) 的对角矩阵 


rfi 0 


0 


0 d 2 


0 


* 4 ft 


D ~ 


dn 


0 0 


由此可见, 


T 


( ZB )( B t Z t ), 

其中 B 是对角线上元素为 \ = + v ^(《=1，-. , n ) 的对角矩阵.因此，如果设 
A = ZB , 则对于丑，得所要求的表现 R = AA 

显然, AA t 就是所要求的对称非负定矩阵.因此,只需 证明丑 是某随机向董的 

协方差矩阵. 


R — ZDZ 


T 
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设 m ， m ， …， in 是独立同正态分布 N ( o , i ) 的随机变量序列.（由§9定理1之 
系1,可见这样的随机变量序列 存在； 实际上，这容易由§3定理2得到）那么，随机 
向童€ =如具有所要求的性质（注意,^ = At ? 应视为列向量).事实上， 


E^ T = E(Ar])(Ar]) T = A(Er ] r] T )A T = AEA T = AA T . 


(如果 C =( 心）是以随机变量为元素的矩阵，则 EC 表示 ( Efo)O 

现在考虑二维高斯（正态） 密度： 




2 


(x — mi) 


1 


hv ( 工， y) 


exp 


27rai(T 2 \^l - p 2 

— 2 p 


2 


2(1 - P 2 ) 

(x-m 1 )(y-m 2 ) ( (y - m 2 ) 


a 


(4) 


2 


A 




其中含 5 个参数 


(对照 §3 之 （14) 式)，其中 | mi | < oo ，| m 2 | < 

oo ，。>0， a 2 >0，| p | < 1•(见§3图 28,) 经过简单的计算,可以说明这些参数的概率 




意义 


e，4 = De， 

4 = D "， 




m 2 = rj7], 


p = p(tvh 


在第一章 §4 曾经说明，如果随机变量 （ 和？?不相关，则还不能说明它们独立 
但是,假如 （《， r ?) 是正态的（髙斯的)，则由€和 r ? 不相关,可见它们独立. 

事实上，如果在⑷式中 p = 0,则 


2 


2 


(x — mi ) 


(y - m 2 ) 


h ， v( x ， y) 


2 a ! 


27T<7i<T2 


但是，由于 §6 的 （55) 式和本小节 （4) 式，有 


2 


(x — mi) 


k ^{ x , y)dy = 


exp 


2 aJ 


TRTa 


2 


(y — m 2 ) 


Mv ) 


f^ v (x,y)dx = 


exp 




2 cr | 


7 TCT 2 


于是， 


f 忘， v ( x ， y ) = 

由此可见，随机变量€和 r / 独立（见§6的第9小节末尾). 

2 . 最优 估计量 在前面§7引进的条件数学期望概念，其有说服力的重要性在 
于它在解决关于 参数估计理论 的如下问题中的应用（对照第一章§4的第8小节). 
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设 (^7?) 是随机向量，其中《可以观测，而7?不可观测.问如何根据对 f 的观测 
值，“估计”不可观测的分量 

为使问题更加明确，我们引进估计量的概念.设^ = ^( x ) 是博雷尔函数.称随 

机变量冰）为由《对??的估 计量, 而称 E [?7 - < p { i )) 2 为该估计量的（均 根方）误差. 
估计童 ^( 0 称做（在根均方意义上） 最优的， 如果 

lv- = inf E [ r ? — p ( C ) j 2 ， 


? 


V 


△ = 


(5) 




其中 inf 在一切博雷尔函数 w = < p ( x ) 类中来求. 

定理 1 设 Er / 2 < 


那么，最优估计量存在，并且作为 cp *(0 可以选 


OC . 


任意函数 


= E ( r /|^ = x ) 

证明不失普遍性，可以只考虑满足 E ^ 2 (0 
所欲求的估计量，而 ^ (0 = e ( t ?| o , 则 


⑹ 


的 p ( o . 那么，如果是 


< 00 


Eh - m ? = E {[；? - ^ m + [/( e ) — 

= E [ r / — ^( O ] 2 + E[f (0 — f (0] 2 + 2 E [ r ; — ^«)][^(0 - W (0] 

彡 E [ r ? — ，⑽ 2 ， 

由于 E [^(0 - WO ] 2 >0,并且由条件数学期望的性质,可见 

_ 

E[7? — 〆( 《 ][〆 (6 — W(0] = E{E[7? _ - ^)]|C} 

= E {[^(0 - W (0] E [ r ? - = 

注 1 由定理的证明，可见如果 （ 不是随机变量，而是在某可测空间（五 ,€) 
取值的随机污，则其结论仍然成立.在后一种情形下，估计量^ = ip ( x ) 应理解为 
^/^( E ) -可测函数. 

现在，假设 (^,7?) 是服从髙斯分布（正态分布）的随机向童，并讨论 if *( X ) 的结 
构,其中（ 4 )式为二维正态分布的密度. 

由§7中 （1),(4) 和 （18) 各式知,条件概率分布密度/#(咖）为 

(y - m ( x )) 

2 ^2 (! _ P 2 ) J ， 


2 


□ 


2 


/r/|^(y|^) = 


⑺ 


exp 


其中 


m ( x ) — m2 + — p{x — mi ) 


⑻ 




那么，由§7定理3的系，可见 




yfv\M x ) d v = m ( x ). 


⑼ 
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D(??|《=x) = E{[7? — E( t ?|^ = ^)] 2 |^ = x } 

[ y - w ⑷] 2 /*( y |: r)dy = a!(l - p 2 ) 


( 10 ) 




oo 


注意.条件方差 D ( V \^ = X ) 不依赖于 x， 因此， 

△ = E[?? - E ( r]\C = x )] 2 = cr|(l - p 2 ) 


( 11 ) 


公式⑼和 （ 11 ) 是在假设> 0 ， Dt ? > 0 条 件下得到的.假如> 0 ,而 

Dr/ = 0,则 （9) 和 （11) 两式显然成立. 

于是，得到下面的结果（对照第一章§4的 （16) 式和 （17) 式). 

定理 2 (正态相关定理）设（€，??）是 Df > 0的高斯（正态）随机向量.由（对 

T ) 的最优估计 量是： 


COV(C，；?) 


E (/?|《） = E ?? + 




( 12 ) 




而其误差为 


K ， U ) 


cov 


△ s E[// — = D?y — 


(13) 




注 


曲线 y ( x ) — E(r?|^ = x ) 称做 n 在 f 上的或 77 关于 （ 的回归 曲线. 在正 

+ &， 因而 // 关于 f 的回归是线性的.因此第一章§4中, 


态情形下 E(r/|^ = x ) 

对于最优线性估计及其 误差， （12) 和 （13) 式的右侧与 （16) 和 （17) 式的右侧对应相 

等,就毫不意外. 


= ax 


系设 q 和 e 2 是均值为0和方差为1的独立正态随机变量，而 


i = ax£i + 02^2, V = Mi + b 2 e 2 


那么， Ef = E77 = 0, = 

a? + > 0，则 


,T>r} = b\+ b^cov{^f}) = aibi + a 2 b 2f 而且若 


Qi^i + a 2 & 2 t 

a\ + a| ’ 


E (*)= 


(14) 


A _ ( a 1^2 — fl2^l) 

~~ a \^ ra 2 2 


(15) 


随机变量的函数的分布假设一个随机变量是另一个随机变量的函数.现 
在，讨论求随机变量函数的概率分布的问题. 

设随机变量 e 的分布函数为 F k ( x ) (如果它有密度,则记作 f ^ x )), vp = ip { x ) 是 
某一傅雷尔函数,而7/ =冰).记4 = (-00,2/]，则 


4 


F r}(y) = P{^? ^ 2 /} = P{^(0 e 4} =P{^ e ^ l (i y )} = 


F ^( dx ). (16) 
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于是，随机变量7?=冰）的分布函数 F v ( y ), 可以通过随机变量4的分布函数 F ^ x ) 
和函数^来表示. 

例如，若 r? = + 6, a > 0,贝(| 


F r ) ( y ) = Pi ^^\= F i 


y — b 


(17) 


a 


a ' 


设 ?? = € 2 , 则对于 y < 0 , 显然 F v ( y ) = 0, 而对于 2 /彡0,有 

F v (y) = P{e P{-v^ ^^Vv} 

= F d\M — + P U = —vW. 


(18) 


现在考虑求密度 f v ( y ) 的问题 ., 

假设随机变量$的值域是（有限或无限）开区间 J == (a,fc), 而函数 p = 一⑷对 

^ xel 有定义、连续可微，并且是单调的：或严格单调增加，或严格单调减小.此 
外，假设 ( p ’( x ) ^ o,x e I . 

记 My) 

^}，有 


(y), 并且不失普遍性假设 < p ( x ) 严格增加.那么，对于 y e {< p ( x ) 






x 


F n(y) = p {v <y} = PMO ^y} = P{^ < ^(y)} 


(19) 


h{y) 


= p U < h (y )}= 


h { x)dx 


根据 §6 练习题15, 


/ h(y) 广 

f ^( x ) dx ^ / 

〜 OO t / — 


y 


fi { h ( z )) h f ( z ) dz , 


( 20 ) 


因此 


fv(y) = h(Ky)W(y) 


( 21 ) 


类似地，如果 ip ( x ) 严格减小，则 


Mv) = MKy))(-h\y)) 


于是，在两种情形下都有 


Mv) = M h (y)W {y)l 


( 22 ) 


例如，若 7/ = < + &， a ¥0, 则 


y~b 


y-t> 


h { y )= 


， Mv ) = Tz\h 


\a 


a 


a 


如果 N ( m , a 2 ), 而巧 = g， 则由 （22) 式，有 

ln ( y / M ) 


2 


，若 y>0, 
若 y <0, 


fv(v) = \ \Z27T(Ty 


2 a 2 


(23) 


0 , 
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其中 M = 

以 （ 23) 式为密度的概率分布称做对 数正态 分布. 

如果函数 p = ^>( x ) 不是严格增加或严格减小的，则 （22) 式对于 r? = 不能 
用.不过，对于许多应用，其如下推广就完全够用. 

设函数# = ip { x ) 定义在集合 W 上，并且在每一个开区间 4 =(叫， 6 fc ) 

上连续可微，以及或者严格增加，或者严格减小，并且V⑻ ^0, xel k . 此外，假设 

h k = h k ( y ) 是 <p(x),x e Ik 的反函数.那么 ，有 （ 22) 式如下推广： 






(24) 


fc=l 


其中 At 是函数 h k { y ) 的定义域， 

例如， 若 V = € 2 , 则设 A = (― oc ，0)，/ 2 = (0, oo )， 得 hi(y) = -y/y,h 2 (y) = 


因而 


\ h { y / y ) ^ hi - y / y % 若 2 / >0， 

若 y 彡 0. 

注意，由于 PU = -vW = 0,这一结果亦可由 （18) 式得到.特别，如果€〜#(0,1)， 


Mu ) = < 2 Vy 


(25) 


0, 


则 


2, 若 y > 0, 

若？/ < 0. 


e 




fe (y) 


(26) 


o , 


经不复杂的计算亦可 得到： ' 


h { y ) + h {- y ), 若 ？/ > 0， 

若 y < 0. 

Mfdy 2 ) + M ~ y 2 )}^ 若 ? / > 0， 

若2/彡0_ 

4. 随机变量多元函数的分布 现在考虑多个随机变量的函数. 

如果€和7/是联合分布函数为 F ^( x , y ) 的随机变量,而 p = < p ( x , y ) 是某一博 
雷尔函数,则立即可以得到(:=#(匕 7?) 的分布 函数： 


f\^\(y) 


(27) 


0, 


hvw \ {y) 


(28) 


0 , 


Fc { z ) 


di Wx ， y ) 


(29) 


{(x,y) ： ip(x,y)^z} 


例如，如果 < p ( x , y ) 

傅比尼定理，有 


+ 2/，而 € 和 r? 独立（即 F ^ v { x , y ) = F ^{ x ) F n ( y )) ,则利用 


X 




F Q { z ) 


dF ^ dF ^ y ) = 


,{ 工 + 心 }0, y)dF^(x)dF r} (y) 




{(x,y):x+y^z} 


d 秘) 


!{x+ y ^z}(^, y)dF v (y)= 


F^z — x)dF^(x). (30) 
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类似地可得 


F^(z - y)dF r} (y) 


(31) 


对于两个分布函数 F 和函数 


H(z) = 


F(z — x)dG(x) 


通常记作 F * G , 并称做 F 和 G 卷积. 

这样，两个随机变量 《与 v 之和< = f + ?7的分布函数是它们分布函数 

与 F ” 的卷积 ： 


F C = F ^ F v 


显然，这时 F ^ F V = F V ^ 

现在假设独立随机变量（和7?各自有密度為和那么，仍然由傅比尼定理 
及 （31) 式，有 


F d z ) = 


M u ) du \ fr}{y)^y = 


f^{u-y)du\ f v (y)dy 


M u ^ y ) My )^ y \ du 


由此，得 


- y)f v (y)dy, 


(32) 


同理，有 


f v (z - x)f^{x)dx 


(33) 


下面举几个应用这些公式的例子. 

设6，&，… ，《n 是独立同分布随机变量序列，其共同的密度是在[-1，1]均匀分 


布密度 


歹，若|尤| < 1， 

0，若卜| > 1. 


/⑷= 


那么，由 （32) 式，可见 


2 — |工 


，若 2, 
若 W > 2, 


hi +^( x ) = 


4 


0, 


2 


(3 — W ) 


，若 1 < | x | 彡3, 

，若0 < | a ;| 彡 1， 

若> 3， 


16 


2 


f ^ 1+^2 + ?3 (^) = 


3 — x 


8 


0 , 
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而由归纳法,可见对于一般情形，有 


2 


(― l) fc C^(n -h x — 2k) 


，若|工|彡 

若 w > 


w ， 


/Ci+-*+Cr l ( x ) ~ \ 2 n (n — 1)! 


fc=0 


o , 


n 


现在设 f ~ A / Xmicrf )，!； 〜 #(7712,( x 1). 若记 


J 


<p(x ) — 




x — mi 


x — m 2 


fd x ) 




—— if 




^1 


^1 


< J 2 


CT2 


由 （32) 式，得 


-(mi + m 2 ) 

+ a 2 


X 


f^+v( x ) = 


<P 


AAl + ^2 


于是，两个独立正态随机变量之和，仍然是正态随机变量，其均值为 mi +77 Z 2 , 而 
方差为 o \ + o \. 

设 6,6,-*■ An 是独立同分布随机变量，都服从均值为0,方差为1的正态分 
布.那么 ，由 （26) 式（用归 纳法）不 难求出 


n 




若 x > 0, 
若 a : 彡 （)• 


xs A e 2 , 


々?+ …祀 W H 2 ^ r ( n / 2 ) 


(34) 


0, 


随机变量 0 + … + g 通常记作;而其概率分布称做自由度为 n 的 x 2 分布 

(“卡方”分布）（对照§3表2 - 3). 

如果记 Xn = + V ^ I ， 则由 （28) 和 （34) 式，可见 


2 


h -咢，若 :r > 0, 

若 a : 彡0, 


71 — 


X 


fxA^)={ 2W(n/2) 


(35) 


0, 


具有此密度的概率分布，通常称做自由度为 ri 的 X 分布（“卡’’分布) 

仍设独立随机变量 f 和77各自的密度为々和那么， 


// 


F ^{ z ) 


M ^) fn { y ) dxdy , 


{(x,y):xy^z} 


JJ 


= 


J^(x)f v (y)dx<ly 


{{x,y):x/y^z} 
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由此，不难得到 

hv ( z ) = 


/: ■以务 /)(■) 砂) 


dx 


(36) 


x |’ 


和 


hh( z ) = 


M z y)Mv)\y\^y 


(37) 


在 （37) 式中，设 


技 + •••+ 泛 


€ = 《 0, V = 


n 


其中6,6,是均值为0、方差为 a 2 >0的独立正态随机变量.由 （35) 式，可 


得 


TX + 1 


2 


2 


2 


X 


ft ( x ) = 


1 + 


(38) 




n 


v^r ^ 


n 


2 


其中随机变量 


《0 


: ：((?+••‘+ ⑵ 


n 


习惯上用 t 表示，相应的分布称做 f 分布或 “学生” ( Student ) 分布① （对照§3表 
2-3). 注意,该分布不依赖于 

5. 练习题 


a 


L 验证公式⑼， (10), (24), (27)，(28)， (34) ~ (38) 的正确性. 

2.设匕，心,… ，^， n 彡2是独立同分布随机变量，其共同的分布函数为 F ( x ) 
如密度存在，则记作 f (X)) • 记 f ，… i }，€ = min {6, … ^ n },p = S 


证明 


(F(y)r - iny) - n^)] n , 若 ?/ > A 

若 y ( 

n(n — l )[ F ( y ) - F ( x )] n ~ 2 f ( x ) f ( y ), 若 y > 

若 3 /彡 

j _ F ( y ) - F(y ~ x)] n ~ 1 f ( y)dy , 若: r > 0， 

若 x < 0， 

[ F ( y ) - F(y - x )] n ~ 2 f(y - x ) f ( y ) dy , 若 ar > 0， 

若: r 彡 CL 

① 哥塞特 （ W, S. Cosset, 1876-1937^ 是最早创立 t 分布的英国统计学家、化学家、 推断 统计学 

派的先驱者,发表有关论文时使用的笔名是 Student, 因此£分布亦称 “ 学生分布”.哥塞特于 
年《生物统计学》 (Biometrika, 亦译《生物计量 学》） 上发表的论文 “ 平均值的可能 误差” 中首先 
提出了 t 分布，并且描绘了其性质.——译者 




(F(y)) n , 


X ， 




fu(y，W = 


0, 


X ， 


n 


F P {x) = 


0, 


n(n — 1) 


fp ( x ) = 


0, 


1908 
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3. 设6和&是独立的泊松随机变量，其参数相应为 Ai 和 A 2 . 证明6 + 6仍 
然服从泊松分布，参数为 m + a 2 . 

4. 在⑷式中设 


mi = m2 ~ 0. 证明 


^{p^z 1 - 2pa\t72Z + a\) • 


^i 


f ^/ v ( z ) = 


5,量 pH ”） = 

切博雷尔函数 ti = w ( x ) 

数.证明随机变量 （和 7?独立，当且仅当，(《，??） 

是独立同分布非负随机变量，都服从参数为 A 的指数分布, 


p ( u (€)， v (7]))， 其中对使相关系数 p ( u (^), v ( rj )) 有定义的 一 

( x ) 求上确界 ( sup ). pK , r ?) 称做《和?? 的最大相关系 


sup n 


V 


= V 


o 




6 备设 


n ， r 2 , 


^ Tn 


其共同的密度为 


-M 


f ( t ) = Ae 

证明，随机变量 n + r 2 + •，■+ &的分布有密度 


， O 0 


x k t k 


l^-xt 




e 


， 0 0, 


(k-l) 


并且 


k _ 1 


m 


o = E 


xt 


P{n + r 2 + 


* +Tfc > 




e 


蜃攀 


i \ 


i=0 


7 •设 € ~ N (0, cr 2 ). 证明对于任意 p > 1， 


2P/2 


p +1 


E|# = 丁 r 




2 


而 


5-1 


r ⑷ 


e〜 x dx 


x 


0 


是欧拉 （ L . Eular ) T 函数.特别，对于任意 n > 1， 


e 2n = (2 n - l )!! a 2n 


8. 假设 € 和是独立随机变量，并且^ + ?7的分布与 f 的分布是同 一 分布.证 

明7/ = 0 ( ax .), 

9 - 假设（ X ， ： K ) 在单位圆 {(;r ， p):x 2 + p 2 ^ l } 上有均匀分布，记 W = X 2 +户， 


2 \nW 


2 lnW 


U = X 


， V = Y 


W 


w 


证明， r 和 y 是独立 w (0,1)- 分布随机变量. 

10 •设 t / 和 V 是独立同在 (0,1) 均匀分布的随机变量.定义 

X = V — In V cos (27 ri /) ? Y = \/—lnV sin (27 r ?7). 
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证明， X 和 F 是独立 7 V (0,1)- 分布随机变量. 

1 L 举一 例子: 《和7?是正态随机变量，但是 f + 7?不服从正态分布 
12.设 X 

/ = f ( x ) 和 i 71 = F (: r ), 而 


、 X n 是独立同分布随机变量，其共同的密度和分布函数相应为 


蠡 _ 


1， 


JB n = max{Xi, 


，义 n } — niin { Xi ，…， } 

是样本（叉:，…， X n ) 的“极差”，证明随机变量的密度炀 （ x )，: r >0, 为 


[ F ( y ) - F(y - x )] n - 2 /( y)/(y - x ) dy , 


f 洗 J 工) = n ( n - l ) 

特别，对于在 [0，1] 上均匀分布的随机变量 Xi ，… ， x n , 


n(n — l ) x n — 2 (1 — x )^ 若0彡 a : 彡 1， 

若 x <0 或 x > l . 


/ 見⑻ = 


0, 


13•设 F ( x ) 是分布函数.证明，对于任意 a > 0,下列函数也是分布函数 


x+a 


x+a 


Giix) 


F ( u ) du , G2 { x )= 


F ( u)du 


2 a 


a 


14. 设随机变量 X 服从参数为 A >0 的指数分布 { f x ( x ) - Ae 
机变量 Y = X 1/ a , a >0 的概率密度（相应的分布称做韦布尔 [ W . Weibull ] 分布). 

设 A = 1. 求随机变量 F = \nX 的分布密度（相应的分布称做双指数分布). 

15. 设随机变童 X 和 K 的联合分布密度 f(x ， y) 形如 f(x,y) = 

( a ) 求随机变量= O + r " 2 和 (9 = tan -^ y / X ) 的联合分布密度,证明和 


— 入 Z 


彡0)，求随 


，： c 


沒独立 


( b ) 设 C / = X cos o ； + F sin a 和 V 


—X sin a + F cos a . 证明随机变量 C / 和 

v 的联合分布密度与 f ( x ， y ) 相同. （这 反映“随机变量 X 和 y 的联合分布关于‘旋 
转’的不变性”这一事实 




16•设 X 


， X n 是独立同分布随机变量，其共同的密度和分布函数相应为 

/ = f ( x ) 和尸 =尸⑷，记（对照练习题 12) 义⑴= min { Xi , - - - , X „} 是 

的最小值， X (2) 是第二小值,等等, 

值（这样定义的随机变量 X 


1， . 


，义 n 


， X n } 是 X 


， X n 的最大 

• , X (n) 称做随机变量，& 的顺序统计量 )• 


max{Xi ， 


• • • 


1， . 


⑴， •• 


证明: 


( a ) 随机变量的概率分布密度为 

n / ⑻厂⑷广〜 

( b ) 随机变童 X ⑴，… , X (n) 的联合密度为 


n !/( xi ) - * */( x n ), 若 < 


< x n , 


• * * 


f(Xu … , x n ) 


若不然 


0, 
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17. 设 X ,，…，是独立同分布随机变量，且都服从正态分布 iV ( M ^ 2 ). 设 

炉 —又) 2 ,其中 

n — I z ~^ 


E 心 

i=l 


n > 1 ， JC = 一 


n 


则随机变量叉和#分别称做样 本均值和样本方差， 证明： 

(a) ES 2 = a 2 ; 

( b ) X 和 S 2 独立； 

(c) X ~ iV ( v 2 / n )， 而 （n — l ) S 2 / cr 2 服从自由度为 n - 1 的 X 2 分布. 

18.设 &， … ， 是独立同分布随机变量， N(N = 1， 2,… ） 是不依赖于, 

X n 的随机变量，且证明 

L > S N = DJCiEiV + ( EXi ) 2 DAT , 




DiV 


es n 


X ! 


E 7 V 


19 . 设 M ( t ) = Ee ^ 是随机变量 X 的母函数，证明对于任意 f > 0,有 P{X ^ 
0 } < M { t ). 

20 . 设 X , & ，…， X n 是独立同分布随机变童,& = A + .. • + 5 b = 0,而 

M n = 


Sj、M = sup S n 

n^O 


max 

O^j^n 


( b ) 如果 — oo(P - ax ,)， 则 M 和 （M + X ) + 同 分布; 

( c ) 如果 -oc < EX < 0 且 EX 2 < oo , 贝 lj 

DX — D(S + X) — 

- 2 EX • 


21. 在上题的条件下,对于任意 e > 0,设 


M ( e ) = sup(5 n — ne )* 

n^O 


证明 


DX 


limeM ( s )= - 


2 


eiO 


§9. 建立具有给定有限维分布的过程 


1. 具有给定分布函数的随机变量存在性设 （ =是概率空间 ( f 2 ? ^ ? P ) 
上的随机变量.而 


A ⑻ = P{a? : CM < 工 } 

是其分布函数.自然,在§3定义1的意义上， F ^ x ) 是数轴上的分布函数 
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现在提出如下问题.假设 F 是 R 上某一分布函数.问是否存在以 F ( x ) 

为分布函数的随机变量？ 


证实问题的这一提法的一个理由如下.许多概率论的命题从如下的句子 开始: 

因此，为使类似的论断有意义， 


设 C 是分布函数为 F(x) 的随机变量，则 

应该确信所考虑的对象确实存在.由于为给出随机变量，应先给出其定义域 ( n ,^)； 

而为了提起其概率分布,应该有 ( n ,^) 上的概率测度 p . 于是，关于具有给定分布 
函数 F ( x ) 的随机变量存在性的正确提 法是： 

是否存在概率空间和此概率空间上的随机变量 f = (( W )， 使 






螫 


P{u : ^( uj ) ^ x } = F(x)? 


现在证明，对于所提问题的答案是肯定的,其实答案已经包含在§3的定理1中. 
事实上，设 


那么 t 由§3的定理1可见，在 ( K ,^( M )) 上存在（并且唯一）概率测度 P , 使对于任 

Ma < b , P ( a , b ] = F { b ) - F ( a ). 

设 eM 


那么， 


= U ) 


P { o ; : < x } = P { a ; : uj ^ x} = P (— oo ，: r ] = F(x) 


于是，建立了所要求的概率空间和随机变量. 

2. 具有给定有限维分布的随机过程的存在性现在对于随机过程提出类似的 


问题 • 


对于 K r g 1 R ， 设 x =⑹柯是概率空间 （ a ，， P ) 上的随机过程（见§5定 


义 3) 


按照物理的观点，随机过程最重要的概率特征是 其有限维分布函数族 




(工1， 


， 3^71) } 


，t 


■ » * 


n 


(^1 ，’ "，工 n ) — < 怎1，***，&„< 工 n }， 


⑴ 


其中对于一切数组 h ，…< 

由 （1) 式可见,对于一切数组 , t n (ti <…< ） 是 

元分布函数（见§ 3 定义 2 ),而且分布函数族 { F tl > ..., tn ( x ly -- , x n )} 满足如下一致性 

条件（见§3 (20) 式)： 


, x n ) 是给定的 


(工1， 


< t n ， ， 


ft • » 


，t 


• 


< < * 


n 


n 


(工1， 


F tl 


，$ n ) 


， oo, 


# * # 


，尤 fc ，… 4 


» # # 


* * ， 


n 


二 F tu 


( A ， 


， x n) 


( 2 ) 


， *^ fc —1? 工 fc +1 ， 


，亡 fc — 1 ，尤 fc + 1 ，…，亡 


* * • 


n 


现在，自然地提出这样的 问题； 分布函数 FnOn , … ，〜） 族 { F tl ，…， 

)} (见§3定义 2), 在什么条件下可以做某一随机过程的有限维分布函 
数族？非常出色的是，一致性条件 （2) 可以穷尽一切附加条件. 


( A ，.. 




n 


n 
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定理1 (柯尔莫戈洛夫关于过程存在定理性）设 { F tlr ^ tn ( xir - , x n )} 是给 

定的满足一致性条件 （2) 的有限维分布函数族，其中匕€ r G R,n ^ l,ti < t 2 

< t n , 那么，在概率空间 风贫， P ) 上存在随机过程 X = (&) teT ，使 


< 


* ft * 


P{w : 仏彡工 •• ^ X n ] = F tl ^^ tn (x u 


，工 n) 


(3) 


证明设 


n = R T , ^ 

(叫)拓了，而^取由柱集生成的代数. 

设 T = [^1,^2) * 1 * ? tn]^i < t 2 < …< t n . 那么，根据§3定理 2. 在空间 

( R '，( ir )) 中可以建立（并且是唯一的）概率测度 p t ，使 


即作为空间 Q 取实函数的空间 


UJ 




P T {(u) tl r- ^t n ) : ^ ^ 1 , 


^ ^ n } = Ft 


(工 1， * " ， $ n ) 


(4) 


，⑴ t 




1 


由一致性条件（ 2 )可见，概率测度 { P T } 族也满足一致性条件（见§3的 （20) 
式) • 根据§ 3 的定理 4 ,在空间 ( R t ^( R t )) 上存在概率测度 P ， 使对于 r = 

h 

[亡 1，’ • * ，亡 raj ， 亡1〈 ■ * * < 亡71 ， 


P{^ :( 叫 ”… ， , ^t ri ) ^B} = P r (B) 


由此亦可见，条件⑷成立，因此，作为欲求的随机过程 X = (6(^)) i 6 T , 可以取 
如下的随机 过程： 


^t(^) = 叫 ， t E T 


(5) 




注 1 所建立的概率空间 （ R ' 方 ( R n )， P ) 常称做标准的，而由 （5) 式表示随机 
过程方法常称为建立过程的坐标方法. 

注2设 ( E a ,8 T a ) 是完全可分度量空间，而《属于任意下标的集合 it 设 { P T } 

是 （五 ai x …父五知， 篆 ai ® …③％ J 上的有限维分布函 数族： P T ,r = [ L …， M . 

那么，存在概率空间 （ n ，，， p ). 和 jr /^ a _ 可测函数族 （ x a M ) aeil ， 使对于任意 

， Ckn ] 和 …0 ，有 


=[叫， 


P {( X air ^ , X a JeB } = P r ( B ) 


如果对于每一个 


( o; a )，a G ii ， 设 = Y [ E a ,^ = 和 X a ( cj ) = a; a ，贝 !l 

这一结果由 §3 的定理4得到,而它推广了定 ifl 的命题 . 


UJ 




系1 设朽 (rr )， 巧 ㈤ ，…是一元分布函数序列 • 那么，存在概率空间 （ a ，， P ) 
和独立随机变量序列心，6，..•，使 


P{w : ^( u ) ^ x } = Fi ( x ) 


⑹ 
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特别，存在概率空间⑴，义， P )， 在 ㈣ 叉， P ) 上定义了无限伯努利随机变量序列（参 
见第一幸明第2小节).这里，作为可以取 空间： 


— ^ ~~~ (fli ^ 0^2 ? * * *) ^ Of% 0 ， 1} 


(参见定理 2 ). 

为证明该系，只需设 F ly ... > n ( xi , - - - , jr n ) = Fi (^ i ) - • 并且应用定理 1, 

系2设 r = [0, oo ), 而对于 sj e rj > s , a ; € K ， 石 e J ^( R ).{ P ( s , x ; t , B )} 是 

h 

非负函数族，并且满足条件： 

a ) 对于固定的是 B 的概率测度； 

b ) 对于固定的 s,t 和 B , P ( s , x ; t , B ) 是 x 的博雷尔函數； 

C ) 对于一切0彡 < T 和 B e j ( R ), 满足柯尔莫戈洛夫-查普曼 方程： 


P(s,x ； t,B)= / P(s,x;t,dy)P(t,y;r 1 B) 


⑺ 


此外，假设 ? r = ? r (，） 是 ( M ^( M )) 上的概率 測度， 

那么，存在概率空间 ⑼，， P ) 和随机过程 X = te ) t ^ o , 使对于0 = 4 < h 

< 亡 71 ，有 


< 


• * • 


P {《to < ^ ^1, 


，右“ 《工 n } 


* 4 


^(dyo) / ^(0,2/o ； ^i,dyi)--- 


1 ， J/n-1; tn ， d 沒 n) 


⑻ 


— oo 


这样建立的过程 X 称做马尔可夫过程， TT 称做其初始分布，而 {P(s,X ； t,B)} 称 

做过程的转移概率族. 

系3设 r = {0,1,2,. ■ ■}, 而对于 k^l,x £ R，B G J^(R),{P k (x;B)} 是非负 

函数族,并且（对于固定的 A : 和工）巧卜; 5 )是 B 的概率测摩，而（对于固定的 Jfe 和 

B ) 巧⑷丑）是: C 的可测函数.此夕卜，假设 7 T = 7 T (.) 是 ( E , ^( E )) 上的概率測度. 

那么，可以建立概率空间 （ f 2，，, p )， 使对于 （ n ，，, P ) 上的随机变量族 X = 

(缸6,…)，有 


P{Co < 工0 ， Cl < 工1 ， • • • ，< 工71 } 

P\{y^dy x ) 


丌 (dyo) 


P n (yn~-i ； dy n ) 


* * • 


3. 测度的开拓和随机序列的存在性由系1知，存在分布函数相应为 
巧,朽，…的独立随机变量6,…序列. 

现在设（玢， 4( 為 ，篆2)，…是完全可分度量空间，而巧，户 2 ,…是在这些空 . 
间上的概率测度.那么.由注2可见，存在概率空间和独立随机元序列 

Xi ， X 2 ，.，. ，使 X n 为 〆 / 心- 可测，且 P { X n € B } = Pn ( B),B e 实际上，当 

( En ^ n ) 是任意可測空间时.这一结果仍然成立. 
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定理 2 (图尔恰 [ I . Tulcea ] 关于测度的开拓和随机序列的存在性）设 （ fi n ， 

多 V),n = l ，2, …是任意可测空间，0 = 1•假设在⑴ i ,， i ) 上给 

定概率测度尸 I ， 而对于（叫， • ■. ， 叫）€ — Qi X * . . X Q n ， n > 1， 在 （ Jl n + i ，^^ n + l ) 

上给定概率測度 P ( a ； i ,..- , o ； n ；-)； 并 且对于每一个 B G ,叫;5)是 

) 的可測函数. 对于次 eJ ^ u n ^ l , it 


(叫， 


， 


Pn(A 1 


An) 


Pi(duJi) I dc^2) 


P ( wi ， … , o ; n ， x ； da ; n ). (9) 


X … X 




山 


A 2 


A 


那么，在 ( Q y ^) 上存在唯一概率测度 P ， 使对于任意1， 


* OJ\ G A\y * * * ^ CJ n G -^n} = -^n (^1 


X A n ), 


( 10 ) 


X 


4 • 


并存在随机变量序列 X = { Xi ( u ) 1 X 2 (^) r -), 使对于 Ai e 


P{cj : Xi ( o ?) E A \, ■ * • , X n ( o ;) G 乂 n } = P n {Ai 

证明 1) 证明的第 一步: 对于每一个 n > l , 证明由⑼式在“矩形’’ 4 x . 

上给定的集函 数八， 可以开拓到 a -代数^ i ⑭…上. 

为此，对于每一个 n 彡2和 B (2) … ® f n ，设 


x A n ) 


( 11 ) 


x 


• « 


4 


xA 


« ♦ 


Pn(B )= 


Pi(do ； j) / P(u )\; do; 2 ) 


P(wi， … ,Lv n ^ 2 ]du) n ^i) 


fix 


n 


n 


Ib (^1 ? * * * ? 1 ^ ? j 15 ^l^u) 


( 12 ) 


X 


n 


易见，对于 B = A X 

2. 如同 §6 的定理8, P 2 是测度.于是，利用归纳法容易证明，对于每一个 n > 2, 
P n 是测度. 

2) 证明的第 二步: 与关于在 （ R ' j(R 〜 )） 中测度开拓的柯尔莫戈洛夫定理 （§3 

定理 3) 相同.具体地说，对于任意柱集 J n ( B ) = {uj e Q ： (W ，…， W n ) e B},B e 

利用等式 


An, (12) 式的右侧与 （9) 式的右侧相同.此外.对于 


X - 


X 


» * 


n = 


PUn(B)) = P n (B) 


(13) 


定义集函数 P . 由 （12) 式，以及 P ( uj u 

致性: 的值不依赖于 （13) 式中柱集的表示方法， 

由（ I 3 )式在柱集上定义的集函数 P ， 显然也是定义在包含所有柱集的代数上的 
集函数 P . 由此可见，集函数 P 在此代数上是有限可加测度.只剩下验证集函数 P 
在此代数上的可数可加性，然后应用卡拉泰奥多里定理. 

在§3的定理3进行过上面提到的 证明； 证明基于空间 { R n , J ^( U n )) 的如下性 

质： 对于每一个博雷尔集存在测度任意接近 S 的测度的紧统 ACB . 对于现在 
的情形.这一方法有如下形式变化. 


) 是测度，容易证明定义 （13) 具有一 


，叫 ; 
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像§3的定理3 —样，设 { B n } n >1 是递减为空集0的柱集序列, 


B n = { u ) : (iiJi ^ 


但是 


(14) 


lim P ( B n ) > 0 


由 （12) 式可见，对于 n > 1，有 


P ( B n ) = / 


fii 


其中 






i ； do ; n ) 


P ( iOi ] do ；2) • • ， 




， o ； 


， ^n— 


n— 


f ^2 


Q 


由于 ^ n+ i 〔 良 .则 B n+ i C B n x fi n + i . 因而 /仏 +1 (<^ 1 ， … ， w n + i ) < Ib ^ (^ i , * - - ， 

)/ 0 n +1 ( o ； n + l ). 因此.函数序列 {/^(^ l )}^! 是减小的.设 

/ {1) (^ i ) slim / i 1 ) ㈣ . 


u ; 


n 


n 


那么，根据控制收敛定理 


f /i 1 } (o ； i)Pi(da ； i )=[ 

t/ f2i J Oi 


/ ⑴ ㈣ 巧 ㈣ ) 


\ imP ( B n ) — lim 


n 


n 


根据假设， lim n P ( S n ) > 0. 由此可见，由于若则对于所有 n 彡1, 

/^ ㈣ 卜 0, 故存在 w €氏，使/⑴ M ) > a 

其次,对于 n > 2， 


允 1 V ?) 


/i 2) (a ； 2)P(a^;da ； 2), 


(15) 


ri 2 


其中 


/ P(a;f,a ； 2 ； da ； 3) 

J ^3 


fi 2) M 


… ，叫)户 ( 山 ?，^^，•‘ 


dw n ) 


， ^n— 15 


■ 響眷 


Q 


同序列的的情形一样,证明序列 { f ^ 2) (^ 2 )} 是减少的.设 

/ (2) (^2) = lim fi 2) (u; 2 ) - 


那么，由 （15) 式，可见 


0 </ (1) (^?) 


/ (2) (a ； 2)P(a;f;da ； 2), 
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且存在点 W e q 2 , 使/⑵(以）> a 这时 ( ujIuj ^ e b 2 . 继续这一过程，对于任意 
彡1，存在点«… . ，旧 ） e 从而，点« .. 

A 瓦= 0. 出现的矛盾说明 lim„P (瓦 ） = 0. 

于是，定理涉及概率测度 P 存在性的部分得证. 

3) 定理的结尾部分显然可以由上面的结果得到.为此只需要设 X n ( oj ) 


0 


)e QBn . 但是，根据假设 


n 








n ^ 1 




系 4 设是任意可测空间， ( P n ) n> i 是该空间上的概率测度.那么， 

存在概率空间 （ n ，，, p ) 和相应地取值于可测空间 ( E l ^ 1 ),( E 2 ,^ 2 ) r - 的独立随 
机元族 x u x 2 , 


并且 


琴 


P{a;: x n (uj) £B} = P n (B), BG^ n , n 彡 1. 

系 5 设五 ={1， 2 , … }， tefcfey )}，/ c 彡1， € E 是非负函数族，并且满足 

E 池 w 

y€E 

此夕卜，设 7 T = 7 T ㈠ 是五 上的概率分布（兀⑻彡 0， D xeS 7 T ⑷= 1). 

那么，存在概率空间 ( Q ,^, P ), 且在此空间上存在随机变量族义= {^0,^1,-••}, 

使对于一切 a e J 5 ,n > 1,有 

P{(o =吻，6 

(对照第一章§12之 （4) 式).作为空间 Q 可以取 

f 2 — ^ u ) 

满足 （16) 式的随机变童序列 X = « 0 ,6, .. • }，称做具有可数状态集五的马尔 

可夫链， { Pk ( x , y )} 称为其转移概率矩阵,而称为其初始概率分布 7 T . (对照第一章§12 
的定义，以及第八章§1的定义 .） 

更新过程柯尔莫戈洛夫定理（定理 1) 指出了,具有给定有限维分布函数的 

过程的存在性.这时，定理的证明用到典则概率空间，而构造过程使用坐标式方法. 
这本身就说明了过程构造的复杂性. 

按这种观点，在尽量少地使用“概率结构”的情况下，构建具有给定性质的随机 
过程的情形会引起人们极大兴趣. 

为演示这种可能性，我们现在考虑所谓更新过程.（其特殊情形是泊松 过程; 见第 

二章 §10.) 

设… ） 是独立同分布随机变量序列，其共同的分布函数为 F = P ( x ).( 定 
理1的系1保障这样随机变量序列的存在 .） 

由卜1，^，…）序列形成新的序列 ( T 0 , T lr ^), 其中 T 0 =0,且 


ljX e E^k ^ I. 




， 6 i = X n } = 7t{xq)pi(xq,Xi) - * ^ Pn ( x n - l ^ n ) (16) 


Xu 




( x 0 , Xi r -),Xi G E } 


: 0； 




4 


T n = (Ji + .-* + cr n ，n > 1* 
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为直观计，我们把 T 视为时间： T n 表示第 n 个质点出现的时间（例如，电话的第 
次呼唤).那么，~描绘第 （n - 1) 到第 n 个质点（第 n 次呼唤）持续的时间. 

习惯上把随机过程 TV = ( N t ) t ^ o , 其 中凡是 （构造性地给定的）量 


N t = J2 T (Tn<t), 

n=l 


( 17 ) 


称做更新过程 • 

显然，风亦可定义为 


N t = max{n : T n ^ t}, 


( 18 ) 


BP N t 是出现在区间 （0， t ] 上的质点（呼唤） 数; 这时显然 


{N t ^ n} = {T n < t} 

这一简单的公式十分有用，因为它可以把对随机过程 JV = ( N t ) t>0 概率性质的 
研究，归结为对独立随机变量 

究（参见第四章§3第4小节，以及第七章§2第4小节). 

由 （17) 式立即可见，更新函数 m ( t ) = EN t (t ^ 0) 决定于分布函数 F n ( t ) 
P { T n ^ t } 如下： 


(19) 


， <Tn(n > 1) 之和 r n = D + … +〜 的性质的研 


71，， 




m ( t ) = ⑴ 

71=^1 


( 20 ) 


5. 练习题 

1. 设= [0，1】.，是[0，1]上的博雷尔集类， P 是 [0,1] 上的勒贝格测度.我们 
称空间 ⑴,〆 , P ) 为“通用的”，如果对于 （ Q ,，， P ) 上的任意分布函数 F ( x ), 可以 
定义一随机变量《=使其分布函数 F ^( x ) = P {^ < x ] 恰好是 F ( x ). 证明空 

间 （ ri ，^， P ) 为“通用的”.（提示： 《(( J ) = F _1 ( o ;), 其中 F _1 ( a ;) = sup { a : : F ( x ) 

o ;}，0 < w < 1，而€(0)，$(1)可以是任意的 .） 

2. 验证定理1和2的系中分布族的一致性. 

3. 由定理1导出定理2的系2的命题. 

4 . 设 F n 是随机变量 T n (n ^ 1) 的分布函数（第4小节)，证明 


< 


F n (t - s ) dF ( s ) } n ^ 1，其中朽 = R 


F n + i ( t ) = 


5. 证明 P { N t = n } = F n ( t ) - Fn +1 (0 (见 （17) 式) • 

6. 证明，在上面第4小节引进的更新函数 m ( t ) 满足更新方程: 


m ( t ) = F ( t ) + / m(t — x ) dF ( x ) 


( 21 ) 
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7. 证明，在有限区间上有界的函数类中，由 （20) 式定义的函数是方程 （21) 的唯 


一解. 


8.设 T 是任意集合. 

⑴假设对于每个 f e 给定一概率空间 （ Q t , 记 


teT 


证明，在 ( n ,^) 上存在唯一概率测度 p ， 使 


( n ^) = n ^), 

\teT / teT 


P 


其中对于除有限个之外的一切下标 t,B t G ^ut e T ， B t = n t . (提 示： 这里 p 在相 
应的代数上，并利用定理2的证明方法 

( ii ) 假设对于每个 f e 给定可测空间 ( E t ^ t ) 和该空间上的概率测度 p t . 证 

明存在概率空间⑴，义， P ) 及独立随机元素 （ x t ) teT ，使不为 多爲- 可测的，且 
P{X t €B} = P t (B),Be^t. 
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收敛性的基本类型 同数学分析 一样， 在概率论中也需要考虑随机变量不同 
形式的收敛性#现在，讨论如下形式的收 敛性： 依概率收敛，依概率1收敛, p 阶平均 




收敛，按分布收敛 • 


从定义开始叙述.设匕…是某一概率空间 （ a ，， P ) 上的随机变量. 

定义 1随机变量序列 ... （亦记作 Rn }， {匕 或 （匕)，(匕 )01), 称做 

€), 如果对于任意 e > 0,有 


依概率收敛于随机变量纟的（记作^ 


p {H > e } 


0, 


( 1 ) 


我们已经遇到过这种形式的收敛性，即伯努利大数定律: 


S n 


P 


0 , 


- p > 8 


(记号见第一章 §5). 在数学分析中这种形式的收敛性，称做依测度收敛. 

定义 2 随机变量序列…，称做 依概率1 (几乎必然或几乎处处） 收敛 

于随机 变量匕 如果 


P {uJ : ^ 

即如果使 Cn (^) 收敛于的结局 o ? 的集合的概率等于 1. 


0 


(2). 
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这种形式（依概率 1) 的收敛性,有多种 记号： 

Cn ^(P - a . c .), 或 ^ — C ( a . c .), 或 G ^ 6 或^ ^ t 
定义 3 随机变量序列6,6,…，称做 P 阶平均收敛于随机变量$如果 

EU 

在数学分析中这种形式的收敛性称做-收敛.因此， （3) 式可写为匕 

特别,若 p = 2,则这种收敛称做平方平均收敛（或均方收敛)，记作（二 U . m.^n ( l.i 

——平均极限的缩写). 

定义4随机变量序列^1,^2, * *• ,称按分布（或依分布）收敛于随机变量^如 
果对于任意有界连续函数/ = f ( x ), W 

m^n) - E/(0 ， 

记作 :匕上 h €其中是 distribution (分布）的字头， law 是（分布）律. 

这一收敛性名称的来历,像将由第三章§1表明的那样，条件⑷等价于，分布函 

数 F u { x ) 在分布函数 F ^( x ) 的每一个连续点上收敛于 i ^( x ) (称做 F ^ n ( x ) 基本收敛 

于 i ^( x ), 记作^巧). 

应该强调，随机的按分布收敛性，只有通过其分布函数的收敛性定义.因此，关 

于这种形式的收敛性,当且仅当随机变量定义在不同的概率空间上才有意义.这种形 

式的收敛性,在第三章将详细研究，到时要特别说明，为什么在收敛性今巧的 
定义中，仅要求在 F ^( x ) 的连续点上收敛，而不是在一切 z 点上. 

2. 基本随机变量序列的概念在数学分析中，在解决给定函数序列（在一定意 

义下）收敛性的问题时，基本序列（或柯西序列）的概念是非常重要的.对于现在所 
研究的随机变量序列收敛性的情形,也引进类似的概念. 

称随机变量序列 {^ n } n>1 (或简记为{匕})为依概率为基本的，如果满足 条件: 

称 & W 1 为依概率1为 

^{^)} n > l 为基本 序列； 称在 P (或 
p(0<p< oo ) 阶平均）的意义上为基本的，若 E |《„— — 0, n，m 

随机变量序列的依概率1收敛 

定理1 a ) 使^ —《(P - a . c .) 的充分和必要条件是，对于任意£ > 0, 


( 3 ) 


0 , 


n — oo . 


L p 


是 “limit in 


mean 


( 4 ) 


n —> oo 


对于任意 


0, 有 P{|Cn - Cml > e} 


0, n，m — oo ; 


£ > 


― ^ 


基本的，若对于几乎一切 


u) e 


oo , 0 < p < oo 


— ^ 




P S supj^t — $ > 


( 5 ) 


0, 


b ) 随机变量序糾 Un } n ^ l 依概率 1 为基本的，当且仅当对于任意 S >0, 


^ ~ C/ 1 ^ ^ / — 0, 


P 


( 6 ) 


sup 


71 — 00 , 
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或等价地 


⑺ 


P < sup|( n+fc — 


0, 


n ^ oo 


fc >0 


证明 a ) 设类 = 卜 ： ICn — el 彡 e }, A ^= 三 n u 馬‘那么， 

n=lk^n 


oo 


{^n - ^} = U ^ = U 义 1 /m 


e>0 


m=l 


因为 


u %， 


P(A £ ) = limP 


n 


k^n 


所以命题 a) 的结论由下面一系列等价关系 得出 : 




LM V 

a—1 


P{W : #€} = 0 分 P 


m 


e 


= 0 钤 P 


= 0 分 


£>0 

公 P ( 乂 1 / m ) = 0，m > 1 O P(A e ) = 0，e > 0 妗 


LM 


e 


= 0 , n—^oo,e> 0 ^=>P< sup > e 


分 P 


0 ,n 


oo ,£ > 0 


k 


k^n 


k^n 


b ) 记 


= - l^fc 61 = nu 码 


£ 


B 


k，l 


n—lk^n 


l^Tl 


那么 ， W : {^(w)} 不是基本的 } = U> 0 皮，像 a) — 样可以证明 P{cj: Un(^)} 不是 

基本的 } = 0 与 （ 6 ) 式等价 . 而由下面明显的不等式，可见 （ 6 ) 式与 （ 7 ) 式 等价： 


sup |^n+fc -Cnl ^ sup |Cn+fc - ^n+l\ ^ 2 SUp |^ +fc — ( n | 

k ^ n y l^n 


□ 


Ar >0 


k^O 


系由于 


u d^fc ' ^ ^ y ^ p ( i^fc - o 


P jsuplKl > 

Lfc^n 


=P 


£ 


k^n 


fc^n 


可见 fn — ^(P - a.c.) 的充分条件是：对于任意 e > 0 ,有 


⑻ 


< oo 


fc — 1 


现在关于条件 （ 8 ) 应当指出，推导该式的论断可以用来建立如下简单但十分重 
要的结果 , 在研究依概率 1 成立的性质时是基本工具 . 

设 A 2 ， … 是，中的某一事件序列 . 我们（见 § 1 表 2 - 1 ) 曾使用记号{无 
限多个 4 } 表示事件 ns 人为 “ 在牵，乂 2 ,…中有无限多个出现 
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引理 1 (博 笛尔- 坎泰利 [ E . Borel - F * P . Cantelli ]) a ) 如果 J ； p (^ n ) 
则概率卩{无限多个 4 n } = 0. 

b ) 如果 ZP (人 ）= oo 且事件 A ， 先,… 独立，则概率卩{无限多个 u 4 n } = l 

证明 a ) 根据定义 


< 


{无限多个 A n } = lim ^4 n 二 niM 


n 二 1 k^n 


因此， 


n 




p { 无限多个乂„}=卩 


=limP 


n = l k^n 


k^n 


k^n 


由此命题 et ) 得证. 

b ) 如果乂1，乂2,…独立，则乂1，乂2,…也独立 • 那么，对于任意 N > n 、 有 


N 


N 


=n 购， 


p 


k=n 


fc—n 


由此易见 


n ) = n p (A) 


p 


⑼ 


k=n 


fc 二 n 


由不等式 ln(l — x ) ^ — x , 0 彡: r < 1，可得， 


OO 


oo 


In [] [1 — P(/4)l = f ln[l — P(^ fc )] (S P(4fc) = —oo 


fe=^n 


fe^=n 


k=^n 


从而，对于任意 


n, 


OO 


n 不 


p 


= 0 , 


k 二 n 


P P { 无限多个乂 n } = l , 

1 如果 A e n ^{ u )： |^ n — 0 彡 e n }， 则条件 （8) 表示 


□ 


^ E P ^ n ) 

n=l 

而根据博雷尔-坎泰利引理卩(#)=0， £ >0,其中肀=1^4(={无限多个 O ) 
于是，有 


<00, £： > 0, 


OO 




< oc,£ > 0 ^ P(^ £ ) = 0, e > 0 特 P{u; ：^ n ^ = 0 


fc=l 
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而关于这一点上面已经指出. 

系 2 设 {£ n } n ^ l 是正数序列， n 丄0 ， n — oo. 那么，如果 




(10) 


< oo , 


n=l 


ax. 


则《 


n 


事实上，设二 {\^ n -^\> Sn }- 那么，根据博雷尔-坎泰利引理卩{无限多个 
A n } = 0. 对于几乎每一个结局 u e n , 存在 JV 二 N ( u ), 使对于 n > iV(w), 有 

l《nM — ^M| < £ n - 由于 、丄 0, 可见对于几乎一切 W 6 Q，《nM — 

4. 各种收敛性的蕴涵关系 
定理2 有如下蕴涵 关系： 


P 


ax. 




in 

证明由⑹式可见命题 （11) 成立； 由切比雪夫不等式，可见蕴涵关系 （12) 成 


( 11 ) 


L v 


P 




C , P > 0, 


( 12 ) 


p 


d 




( 13 ) 


立 


现在证明蕴涵关系 （13) ♦设 /( x ) 是连续函数， |/( x )| ^ 
P 侧 >^K e /( 4 c ). 

选择 <5 > 0,使得对于一切 |; r | < iV 和 \x - y \ ^ 8 ,不等式 

l / W -/( y ) I^I 


> 0,而 TV 满足 


c^e 


2 


成立, 


那么，（对照第一章§5第5小节,维尔斯特拉斯定理的“概率的”证 明): 

ei /(^) - /( 0 卜 e [ i /( 匕） — m\；\^ n \^\^m 

+E[|/(^)~/(0| ； |^-eU^|^|>7V] 

+E(|/(^)-/(0| ； |^-^|>(5) 

^ ^/2 + s /2 + 2 cP[|^ n — ^| > 8 ] = e + 2 cP[|^ n — ^| > <5 


由于 P(ICn ~^\> S )^ 0 , 可见对于充分大的 n ， E |/(€ n ) - / ⑹ I 由于 e > 0 是 

任意的，可见蕴涵关系 （13) 得证. 

现在举一些例子，其中有的说明 (11),(12) 式中相反的蕴涵关系一般不成立 
例1 Kn 


□ 


P 


L p 


a.c‘ 


0UC, 


0' 设 n = [0, l]，〆 


义 [0，1]， P 是 [0，1] 上的勒贝格 测度. 设 


L in 




% 一 


A 


% 


^ T ， O 人4少)， i = 1，2,…， n，n 彡 1 


n 


n 


n 
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那么，随机变董序列 


{ Cl ； d d d dd … } 


依概率收敛，也对 p > o 阶平均收敛，但是它在任何点 a ； e [0, lj 都不收敛. 

_ 

例2 ( C n ^ C ^ ^ C Cn ^ C(P > 0)). 仍设 D = [0,1],^ = 

方 [0,1 ]，P 是[0，1]上的勒贝格测度，而 


若0彡0；彡1/ 

0，若 a ; > 1/ n . 


e ， 


n ， 




那么，序列 {^ n } 依概率 1( 故依概率）收敛于0,但是对于任何 p > 0, 


e np 




-^ OC, 


n — > oo. 


n 


例3 (《 n 1 €势 （n 


ax* 


0.设 Un } 是独立随机变量序列，且 


P{Cn = 1} = Pru P{^n = 0} = 1 - p n 


那么，不难证明 


P 


in 


0分 Pn — 0’ 
0 —> 0, 


(14) 


71 — > OO, 




Cn 


(15) 


n — oo, 


E 匕 


a.c. 


Cn 


0 公 


(16) 


< OC 


L p 


特别，当 p n = l / n 时，对于任何 p > 0 ^ n 


0然而^并不几乎处处收敛于0 


下面的定理涉及一个重要的 情形： 由几乎处处收敛可以导出 L 1 平均收敛 

定理3 设是非负随机变量序列，且^心 


《 < oo . 那么， 




EIKI — 0, 


(17) 


71 — 00 


证明对于充分大的 n ， 有 E 匕 < oo . 因此 


in)h^U} + mn- ^>0 

- 2E (^ " ^)^{C^n} + E (€n — 0. 


由于 0 < 则由控制收敛定理知 lim n E (卜= 0,于是 

由假设 E & — 证得 （ I 7 ) 式. 


□ 


注如果将依概率1收敛换成依概率收敛，则控制收敛定理 （§6 定理 3) 仍然成 

立（见练习题 1), 因此，在定理3中收敛“匕 


P 


a + c. 


C 可以换成收敛 U Cn 
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柯西收敛准则由数学分析知，任意基本数列 { x n }, x n eM , 都是收敛的（柯 
西准则).我们对于随机变量序列引进类似的结果. 

定理4 (柯西几乎必然收敛准则） 随机变量序列{匕}依概率 1 收敛 （于 某一 
随机变量0的充分必要条件是 {^ n } 依概率1为基本序列. 

证明若$则 




sup l^fe - & | < sup | 匕 -$ + sup I 心一石 I ， 

fc^n 




l^n 


由此（见定理 l ) 可得定理的必要性. 

现在假设 { 匕 } 依概率 1 为基本 序列. 记，= { u ; : (e n (a；)} 不是基本序列 }. 那 
么，对于 U ； € 数列 { Cn ( u ；)} 是基本的，故根据数列的柯西定理，数列 {^ n ( a ;)} 

有极限•设 


liO ), 若 w e 

若 w €方". 

于是，所定义的函数 《( O ；) 是随机变量，因而显然仏 

定理 5 设 {^ n } 对于依概率收敛是基本随机变量4列，则从中可以分离出依 
概率1收敛的子序列 fej . 

证明设{心}对于依概率收敛是基本随机变量序列.由于定理4,只需证明从 
中可以分出几乎处处收敛的子序列. 

设〜 =1, 由归纳法确定一个 n fc , 使之对于任意 s > n , t > n , 是满足 

P {| 6 -^ l > 2- fc }<2 


《 (cj) = 


(18) 


0, 


□ 


—k 


的最小 


那么， 


n > n k —1 


* 


I ：晴 打 左+1 - Ul>2 - fc }<^> 


— k 


< 00 , 


k 


k 


而由博雷尔-坎泰利引理 


P { IU +1 — | > 2- fc ， 无限多个 A :} = 0 


因此，依概率1，有 




<00 


fc +1 


k 


设/卡 EU fe 


}. 那么，如果设 

^ n 1 (^) + - ^ n k (^)],若 W e 

若 


= oo 


€( W )= 


fc=l 


0, 


sue. 


则 e 


n k 


如果原序列依概率收敛，则它按依概率为基本的（见下面的 （19) 式)，从而这正 
是所讨论的情形 


□ 
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定理6 (柯西依概率收敛准则） 随机变量序列 {&} 依概 率收敛的充分必要条 
件是, { e «} 按依概率收敛是基本随机变量序列. 

证明如果则 

P{Kn — €m| ^ ^ P{l€n ~ ^ f/2} + P{|r^ m — <^j ^ <?/2}, 

_ 

即代 rj 按依概率收敛是基本随机变量序列. 

相反，若 {&} 按依概率收敛是基本随机变量序列,则根据定理5,存在随机变量 

子序列 {《 nfc } 和随机变量《，使^ f 那么， 

P{| 匕-刳彡 e：K P{| 匕 -u\^ e/2} + P{|^ — 《| 彡 e/2}, 


(19) 


P 


即石 


□ 


关于; >(> 0) 阶平均收敛，我们首先对空间 LP 作若干说明. 
以 L ^ = L ^^, P ) 表示满足 


E[e 


P 


iei p dp < 




00 


n 


的随机变量《 =« o ；) 的空间.假设 p > 1，并设 

m mn 1/p 


显然 


IWIp >0， 

ll^llp = \ c \ U \\ p ^ c 是常数， 


( 20 ) 


( 21 ) 


由闵可夫斯基不等式 （§6 (31) 式)，有 


11^ + ^ IIp ^ lkllp + \\ v\\p 

这样,根据泛函分析中熟知的定义，定义在 P 上并满足条件 （20) 〜 (22) 式的函 
II - || P (对于 p > l ) 称做半范数. 

为使之成为范数尚需具有如下性质 


( 22 ) 


UWp = 0今《= 0, 


(23) 


当然这一般并不成立，因为根据性质 H (§6)， 只是可以断定《几乎必然为0,而不是 
恒等于 a 


鉴于这种情况，需要用略有不同的观点对待空间具体地说，将每一个随 
机变董4 P 和 LP 中与之等价的随机变童类 K ] 相联系（称《和等价，如果 
P(e = W = 1). 不难证明，等价性具有自反性、对称性和传递性，说明线性空间 P 
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可以分割为两两不相交的等价随机变量类.如果以丨 LPj 表示中等价的随机变量 
类旧的全体，并且 定义： 


[幻 + M = [€ + ”], 

[《 I = [ o^j 5 a 是常数, 

IIK]l(p = lieiU 


a 


则就是线性赋范空间. 

泛函分析中关于空间 [ p ] 的元素,通常称做“函数”，而不是“等价函数类，’.因 

此，我们以后不再使用记号 [ P ], 而正是把 P 理解为等价函数类的集合，像以前 一 
样简单地称元素，函数，随机变量…… . 

泛函分析重要的结果之一，就是要证明空间1,是完备的，即任何基本序 
列都是收敛的.下面用概率的语言表述并证明这一结果. 

定理7 (柯西 p(p > 1) 阶平均收敛准则） 空间 P 中的随机变量序列 {&}, 

p(p > 1) 阶平均收敛于取值于 LP 的随机变量的充分必要条件是， {€„} 是 p 阶平均 
收敛的基本随机变量序列. 

证明由闵可夫斯基不等式，可见必要性成立.设 {6 J 是基本随机变量序列 
( ll^n - 《mllp 0， n，m — OO ). 仿照定理5的证明，选择一子序列 {“} 使 Cn 

其中 （ 是某一 || d P < oo 的随机变量. 

设 M 二1，由归纳法确定一个 n fc ， 使之对于任意 s > n,t ^ n , 是满足 

116 - 6L < 2 


ax 




-2 k 


的最小 n > njfc - i * 记 




Ak = {uj : 


打知+ 1 


那么，由切比雪夫不等式，有 


E|U +1 -U\ p < 2- 2 如 

、 2^fcp 


= 2~ kp ^ 2 


一 fc 


P ( A k ) ^ 


2 -处 


如同定理5,由此可见存在随机变量 f 使匕 

由此可见当 

于 n 彡 N , m 彡 AT , 有 H 
(§6)，有 




W Un -^ Wp -^ O . 为此固定 £> 0 并选择 AT = N ( e ), 使对 

那么，对于任意固定的 n > ' 由法图引理 


n —► co 


p 


< E 


P 


■ 


E | K| p = 


lim |4 — 。 | p 


lim 

Lnfc—oo 

彡 lim mn-U\ p = lim \^n-U\ p P ^e. 




n k ^oo 


从而，当 
见 m\p < 


时 # — 0. 由于 € = « - U + 6 m 故由闵可夫斯基不等式可 


71 — 00 


□ 


00 
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注 1按照泛函分析的术语，完备赋范线性空间称为 巴拿赫 （ S , Banach ) 空间 • 
这样，空间彡1，是巴拿赫空间. 

注2如果0 < p < 1，贝 !] lid = ( Em 1 ^ 不满足三角形不等式 （22), 从而不 
是范数.然而，空间（等价类） L p ,0 < p < 1,关于度量 = E |4-??| P 是完 备的. 

注3设随机变童 f = 《( a ;) 满足条件 ： lid < 00,其中 Halloo 决定于 




sup |^| = inf {0 ( c 《 


p ( l^l > c ) = o }， 


三 ess 


oo : 


称做 $ 的本质上确界 • 记是随机变童 C = CM 的（等价类）空 


间. 


函数 || • IU 是范数，且空间 L 〜关于此范数是完备的 

6. 练习题 


1. 利用定理 5, 证明 §6 定理 3 和定理 4 的 命题： “依概率 1 收敛’，可以换成“依 


概率收敛 


2. 证明 I /-是完备空间. 

3. 证明，若且 tm 

4. 设 4和 


P 


^?，则《和 W 等价（艮 P P {《 ^ Vt ) — o )* 
7/，且 f 和;? 等价.证明对于任意5 > 0,有 


P 


P{ — ^?n| > ~^ 0, 71 

e 和加上〜证明，如果 W = ( p ( x , y ) 是连续函数，则 < pUn ，” n ) 
视， rf ) (斯鲁斯基 [E. E. CjiyuKHii] 引理). 

6. 设（匕 一 之） 

7. 证明，若^土 其中 C 为常数，则有依概率收敛 


— 00 


P 


P. 


5 K 


P 


P 


2 


0.证明 e n 


2 


d 


P 


in 


C ^ 


c 


P —ax. 


& 设序列 feWl 满足 条件: 对于某个 P > 0, X ^° =1 E|^|P < 00,证明^ 


0. 


9 •设 { Cnln ^ l 是同分布随机变量序列，证明 


^ P {|6|>^ n } 

ri— 1 


E |6 I < 


< oc，e > 0 


oo 分 




Cn 


P—a-c. 


< OQ,£ > 0 ― 


0 


n 


10 •设 UnWi 是一随机变量序列.假设存在随机变量《和子序列 { nj 使 

证明 fn — « P - a , c .). 


P—ax 


P — a.c 


4 和 


Cnjt 






max 


— OO 



S n 


lim 


=1 (P — ax ,) 


E 5 n 


2 i .设 （ x n ) n y 和 （ y n ) n >1 是两个随机变童序列，且其一切有限维分布相同 

Y , 其中 Y 是与 


P 


( F x 


> 1). 证明，若 X n 


叉，则 l"n 


1，"，， 久 


X 同分布的随机变量 


P —a.c. 


则序列匕 


举例说明，在 E ^ Pd^nl > S ) = 00(6 > 0) 的条件下， 


0 


* 


P—a.c. 


0也可能成立. 




17. (第二博雷尔-坎泰利引 理). 设 n = (0，1)，及 = ^((0，1))， P 是勒贝格测 

但是（0, 1) 上的每一个 a ; 最多只 


度.考虑事件人= (0， l / n ). 证明 EP (人） 

可能属于有限个集合 ^ li , ••- 即卩{无限多个 4„} = 0. 

18. 举一随机变量序列的例子{匕}，使之依概率1有 lim sup 
然而存在随机变量 r / • 

19. 设 S 7 是有限或可数集合，证明，若之 

2 0. 设 A 1 , A 2r - 是独立事件序列且£ J >( A n ) 

ELiHAk ). 满足“第二博雷尔-坎泰利引的条件 


OO, 




00, lim inf = 




P 


—OO, 


V 


p 


P~ax + 


C ， 则 Cn 


证明，对于& = 


< OO 


Ep{|^I>^} 


< OO, 


举例说明 p - 几乎处处收敛不能换成依概率收敛 

1 5 . 设是概率空间， 

率1有 X „ — X . (若对于任意 B £多\ 要么 P ( Bfl ^) = P (4)， 要么 P (^ n ^) 

则集合 Ae ^ 称做 P - 原子. 测度 P 称做 P - 原子的，如果存在可数个不相交的 

P - 原子族 { A „}， 使 P (UjLl A n ) = 1-) 

16. 根据空间（第一）博雷尔-坎泰利引理,如果对于任意£>0, 


P 


X 证明，如果 P 是原子测度，则也依概 


0, 




并且认为几乎处处相等的随机变量相同 • 证明 d = d {^ V ) 确实是度童，并且依概率 
收敛等价于在此度童下的收敛. 


12. 证明在随机变量的集合中，不存在与几乎处处收敛等价的度量 

13, 设&彡 X 2 ，且 X n 


P 


P—a-c* 


X ,证明 x n 


X 


p ~* a :^ X ，则 X 


p - 


14•设 X 


a*c. 


X ( 切萨罗 [ E . Cesaro ] 求和法）其中 


11. 在随机变量的集合中引进“度量 f 如下 




d{t ") = E 


1 + |《 一 r ?| ， 
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xfe 


§ 

1 一 n 




n 
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22. 设 ( X n ) n ^ 是独立随机变量序列，且 X n ^ X ，其中 X 是某一随机变量. 

证明 x 是退化随机变量. 

23. 证明，对于每一个随机变量序列…，存在这样的数列 ai , a 2r *-, 使 


P—ax. 


^n/^n 


0 


24•设 fi ， $2, • ，_是随机变量序列， ♦ 十 < n ， 打> 1. 证明 {Sn ~- 

使级数收敛的的集合，可以表示为如下 形式： 


{& — } = nun - S k \^ N ^ 


相应地，若级数 a ( w ) 发散 ，则 

{5 n ^>} = |J p| |J |sup|5 / - 5 fc | > 


l^k 


N^l m^l fe^m 


25. 证明第二博 雷尔-坎泰利引 理的如下类型（引理1的命题 b )) : 假设事件 
A \ jA 2 y * * -(未必独立）满足条件 


T p (木门乂 fc ) 


oo 




E p (人) 

n=l 


和 lim inf 


彡1， 


oc 




2 


n 


E p (^) 


l < fc^n 


则卩{无限多个 4} 

26. 证明在第二博雷尔-坎泰利引理中，代替皋，鳥,…独立,只需要求它们两 


1 




两独立 


27. 证明0 - 1律的如下形式（对照第四章§1的0 - 1律) :如果 4 八 2,…两两 


独立，则 


0,若 X)P (人）< 

1,若 X ； P ( A n ) = 

28. 设对于任意事件序列 A \, A 2, * • * ,满足 limP ^ n ) = 0和(人门人+1) 

0O, 证明？{无限多个 A „} = 0. n 

29. 证明，若 Z ) n p ( l^nl > n } < 00 ,则 limsup n (|^ n |/ n ) < 1 (P - a . c .). 

30 •设 U(P - a . c .), E | e n | < oo,n > 1 且 inf n E^ n > - oo , 证明 e « 

E|Cn _ 《I — 0. 

31. 利用博雷尔-坎泰利引理证明，如果戸{无限多个4„} = 1，当且仅当对于 
每一个集合 A ， P ( A ) > 0， E „ P ( Ar )- An ) = 

32. 设事件 A u A 2 r - 独立，且对于一切 n > l , P ( A n ) < 1,证明卩{无限多个 
A n } = 1,当且仅当 V (\ JA n ) = l . 


OO , 


卩{无限多个 4 n } = 


00 


< 


L 


OO 
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33•设 Xi ， 义 2 ,…是独立随机变量，且 P { X n = 0} = 1/ n , P { X n — 1} 
idE n = { X n - 0}. 证明 


1 一 1/ n ; 




OO 


oo 


E p (〜） 

n=l 

并由此得出结论: lim n X n {P - a . c .) 不存在. 

34. 对于随机变量序列 Xx , X 2 , . •, 证明 X n 


EP 陶 


= 00 , 


= oo 


n=l 


P 


0,当且仅当对于某个 r > 0,有 




r 


o 


1 + \ x n] 


r 


特别， 如果& = a + … + x n ， 则 

S n — BS n 


2 


(& — ES n ) 

n 2 + (5 n -E5 n ) 


P 


0 杉 


0 


2 


n 


证明，对于任意随机变量序列 Xi ,^， …，有 


& 


P 


P 


X k 


0^ — 


0 


max 


n 


35. 假设对于独立同分布伯努利随机变量序列&，&，•••： P { X k = ±1} = 1/2; 


n v 


U n 


fc=l 


P—ax. 


u ， 其中 t / 是在（- i ,+ i ) 上均匀分布的随机变量 


证明， u n 


§11. 具有有限二阶矩的随机变量的希尔伯特空间 


1. 随机变 量的希 尔伯特 （ D . Hilbert ) 空间在上面讨论的巴拿赫空间 L'p > 

1中，起重要作用的空间 Z 2 = L 2 ( a y J ^, p ) 是具 有有限 二阶矩的等价随机变量类. 

对于《,77 el 2 , 记 


(^r/) = E^r/ 


( 1 ) 


显然，对于 fr /， C € L 2 , 有 


« + 的， C ) = a (《， c ) + W )，（«) > 0, 


且 


(«) =0-^ = 0. 

这样，⑷ 77) 是数量积.关于由此数童积诱导的范数 


w 卜（⑶ 1/2 , 


(2) 
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空间炉是 完备的 （证明见 §10), 因此，按照泛函分析的术语，引进数量积 （1) 的空 
间是（具有有限二阶矩的）随机变量的希 尔伯特空间. 

概率论中，在研究仅由随机变量的前两阶矩决定的性质时，广泛使用希尔伯特 

空间方法 （“ L 2 - 理论”).这里,我们仅限于介绍（第六章）叙述 L 2 - 理论所必须的基 
本概念和事实. 


正交随机变量系空间 L 2 中的两个随机变量 《和 7/称做正交的 R 丄? y ), 

如果其数童积⑷ 77) s = 0. 根据§8,随机变量€和 r ? 称做不相关的，如果 

cov (^,77) = 0,即如果 




x E ”. 

由此可见，对于均值为0的随机变量，正交 性与不相关性 相同. 

如果对于任何随机变量€ M(i / 77)4 丄7/,则系 M CL 2 称 做正交随机变 


量系 


此外,如果对于一切< € A /, 其范数 M = 1,则 M 称做随机变量的 规范正 交系. 

最优线性估计量设 A / = {^，… ，〜} 是规范正交系，而€是 I 2 中的某一 
随机变量.在形如 Eii 的线性估计类中，求随机变量$ (在均方意义上）的最优 

估计董（对照§8的第2小节). 

通过简单的计算,可得 


争 


2 


2 


ai ^ 


= E 明 i = [ i 卜 Y] 

i=l \ i=l i=l 

=IKIi 2 - + I 

i=l \i^l i=l 

= Kll 2 - 2 5^(€，伤) + E 

i=l 去 =1 

= 1€" 2 -53|(€，％)1 2 + 亡|叫-(以)| 

i=l i=i 

Kll 2 - XI 1( 《，极 )1 2 ， 

i=l 




^iVi 


2 


a : 


2 


(3) 


其中用到了等式 


2 


- 2a^(^, 7?i) = \at - (《，％)卩 -|(^7?i)| 

， fl n ， 当 二 1，2, 


2 


a : 


由此可见，对于一切实数 fll ， 


时， 




2 


i=^l 


^iVi 


达到下确界 
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这样，由/?1，…，知对 f (在均方意义上）的最优估计量为 




(4) 


这时 


e-E 


Eid 2 = iieii 2 -Ei(“)i 

i=l 


A = inf E 


(5) 






(对照第一章 §4 (17) 式和 §8 (13) 式). 

由⑶式亦可得如下贝塞尔 （ F . W . Besser ) 不 等式： 如果 M = {私仍,…}是 

规范正交系，且 S G L 2 , 则 




⑹ 


其中达到等式当且仅当 


7X 


⑺ 


最优线性估计量€常记作 E ⑷ m ，•. ■ ,如)，并称为（《关于仍， 
件数学期望. 


， Vn ) 的广义条 


关于这一术语有如下解释.假如考虑随机变量纟关于 W ，. 


的一切可能 

的估计童# = , 7 ] n )(^ P 是博雷尔函数)，则 〆 二 E ⑷仍 ，… ，? M ), 即€关于 

, Vn 的^件数学期望是最优估计量（对照§8的定理 1). 因此,最优线性估计量 
类似地记作运⑷仍，…， 7 M ), 并称为广义条件数学期望.为此我们指出，如果随机变 

,Vn 构成高斯系（见下面§1 3 ),则 E ⑷ m ,... ,7 M ) 与 E (伽 ，… ，加） 相等. 
下面说明估计量€ = E (^|?/1, •■- ,7) n ) 的几何意义. 

以幺= , r ? n ) 表示规范正交随机变量 rnn 系生成的线性流形 

(即形如 ELi 明 i ⑷ e R ) 的随机变量系 )• 

那么, 由以上的叙述可见， c 有如下“正交分 解”： 




m ， 




c K — 0, 


⑻ 


其中幺，而且在对于任意 Ae 幺丄 A 意义上 f 丄又.因此自然称 f 为 
(在又 上的投影（即又中 “ 最接近，，（的元素 )， f f 称做又的垂线 • 


4. 线性无关性由随机变量仍，…， 7 M 的规范正交性假设，可以简单地找到由 

对€的最优估计 f (投影).假如不要求规范正交性假设,则情况比较复杂. 

的情形，在一定意义上可以归为已经 


m , 


， Vn 


不过，下面将要证明，任意随机变量 m ,.. 

研究的规范正交变量的情形.为简便计，在以后的叙述中，将假设所考虑的一切随机 
变量的均值为 0. 
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称随机变量 为线性无关的 ，如果等式 


E 


0 (P — a . c .) 


dim 




只有当所有都等于零时才成立. 

考虑协方差矩阵 


R = E/yryT, 

■ 

其中 n = (Vu ， " ， Vn) 视为列向量 . 只 E Et 7?7 t 是非负定对称矩阵，如同在§8已经指 

出的，存在正交矩阵 I 可将 H 化为对角 矩阵： 


Z t RZ = £), 


其中 


di 


0 


D — 


d n 


0 


的对角线上的非负元素木 > 0 (i = 1,…， n )， 是矩阵只的特征数，即特征方程 

det(H - A 五 ） = 0的根 A ( 五是单位矩阵). 

如果随机变量 

不等于0,即全部表 > 0 (i = 1，…， n ). 设 


、 r ) n 线性无关，则克拉默 （ J . R Gram ) 行列式（即 detR ) 


m ， 


• • 


■ 


Vd ^ 


0 


B = 




0 


和 


P^B^ 1 Z T 7] 


⑼ 


那么，向量的协方差矩阵 


E0P r = B' 1 Z t E w t Z t j B _1 - B^Z^RZB 1 = E, 


从而向童/?=(执， …， M 的分量是两两不相关的随机变量.同样明显 




( 10 ) 


V 




于是，如果随机变量 
免，…，，/^，使⑼和 （10) 式成立，这时 


线性无关，则存在这样一个规范正交随机变童系 


m ， 


* 攀 


这 (m ， 


， Vn) =^(/3 


， Pn) 


1， 


• V * 
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所介绍的得到规范正交随机变量系负，…， /? n 的方法，在一系列问题中显得不 
是很有用.问题在于，假如把％视为随机变量 (??!,• • .，7/ n ) 序列在时刻 i 的值,那么 

上面建立的正交随机变量…， A 系的值汉，不仅依赖于“过去” ( m ， …，卟)， 而 
且依赖于“将来” ( Vi + ir - , Vn )- 下面将要介绍的克拉默-施密特 （ E . Schmidt ) 正 
交化过程不但没有这一缺陷，而且它具有如下 优点： 它可以用于线性无关的无限随 

机变童序列（即任何有限个随机变量序列都线性无关). 

是 C 中线性无关的随机变量序列.用归纳法以下面介绍的方式建 

设 q = m /\\ m \\- 假设 


设 




立序列 


已经选定，而且它们正交，则 


61 ^ 2 ,…^ 


… y^n-1 


设 


Vn -Vn 

其中？ n 是加在由正交随机变量生成的线性流形 
上的 投影： 


(11) 


= 


， ^ n - l ) 


n— 1 




( 12 ) 


Vn = 




由于 


，/? n 线性无关， ^( Tf U 


， "n-1) = ^ 


^ n - l ) 可见 —— 心|| > 0, 


Vu 


从而 e n 有定义. 


根据构造 || e n || = l，n > 1,而且显然 ( s n , ek ) = 0 ,k < n . 因此 

序列.这时根据 （11) 式有 


是正交 


^11^2 ’ 


Tf n — 7] n + b n £ n ^ 


其中 h = || 加一疗 n ||, 而疗 n 决定于 （12) 式. 

现在假设 mn n 是任意随机变量系（未必是线性无关的).设 detii = 0,其 

中 it 三（~)是向董（私…，如）的协方差 矩阵； 设 


rang ii = r < n 


那么，由代数熟知，对于二次型 


Q ( a ) = > : 


a = (ai ， 


TijdiClj ， 




恰好存在 


个线性无关向量 a (' … ， a ("_' 使 Q ( a ^)=0 ,i 


1， 


?! — r 


,n — r 




A 4 • 


因为 


2 


Q(o) 二 E E I ， 


fe=l 


从而，依概率1，有 


E 4) 


"fc = = 1 ， 


,n — r . 


fc=l 
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换句话说,在随机变量&，••，&之间，恰好存在 

， f ] r 线性无关，则其余一切随机变量咖 + U …，加可以通过仍, 
表示，故又(?71，…， ?? n ) =又(?？ 

正交随机变量£1, • • * ,£ r , 使之一切通过， 

文(芑1， …， 〜)- 


个线性关系式.因此，例 


n — r 


如 


线性 


Vu 


， Vr 


， Vr ). 由此可见，利用正交化过程，可以得到7'个 

,7? n 线性表示，并且又 ( m ， 


，口 n) = 


正交基底和正交化假设 


是 X 2 中的随机变量序列，以 黑 ( m ， …， 
Vn ) 表示随机变量 vum ， …生成 的线性流形， 即形如 ^ g r 的随 
机变量的全体.以又= ^ (7/1, ••- ,?7 n ) 表示随机变量仇，772,… • 生成的 闭线性流形, 
即又中的随机变量 


rm 


■ * . 




及其均方极限的全体、 

称随机变童系 … 是空间 L 2 中可数正交基 （或完 全正交 系)，如果 

a ) …是正交系， 


m 2. 


b ) 又 ( H ，.） = [ 2 ， 

具有可数正交基的希尔伯特空间，称做可分的. 

由于条件 b )， 对于任意 f e L 2 和 e > 0,存在实数 


使 






• 




n 


a iVi 


彡 £ 


那么，根据 （3) 式, 


n 


If 

从而，对于可分正交基的希尔伯特空间 L 2 , 任意随机元素 < 可以表示为 




oo 




(13) 


确切地说， 


n 


n h ^ 

i —\ 

由此及⑶式，可见有如下帕 塞瓦尔 （ M _ A . Parseval ) 等式 


OO 


ii 《 ii 2 = Ei« ， wi 2 , 

i==：l 


2 


(14) 


不难证明其逆命题也成 立：若 
任何条件成立,则此正交系是基底. 

举几个可分希尔伯特空间及其基底的例子. 

例1 设= R ，， = j ( R )， 而 P 是高斯测度 


是某一正交系，且（ I 3 )式或 （14) 式中 


VuV2y 


* + » 


a 


a: 2 

2 


P(-oo, a] 


( p ( x ) dx ^ < p ( x ) 


—— e 




7T 
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ia d = d / dx 并引进函数 


(—l) n D n ^(x) 


(15) 


H n ( x ) 


， n ^ 0 


咖) 


不难求出 


D ( f ( x ) — — x ( p ( x) y 

D 2 ( p ( x ) = ( x 2 — l )^( x ), 
D 3 ip ( x ) = (3 x — x 3 )< p ( x ), 


(16) 


由此可见， H n ( x ) 是 多项式（称 做埃尔米特 [ G . Hermite ] 多项式) ，由 （15) 和 （16) 式, 


有 


Ho ( x ) = 1, 

Hi { x ) = x , 

H 2 ( x ) = x 2 - 
H 3 (x) 


1 


— 3x, 




由简单的计算，可得 


H rn ( x ) H n ( x ) I > ( dx ) = 


H m ( x ) H n ( x )( p ( x)dx = n \5 n 


其中 <5 腿 是克罗内克 （ L * Kronecker ) 记号 ( S nm r = 0,若 m # n ; S nm = 1，若 

因此，如果设 


) 


m 




H n ( x ) 


h n { x ) 


\/ n ! ’ 


则这些 賦范埃尔米特多项式 { h n ( x )} n >0 为规范正交基_由泛函分析[33,第七章 §3] 
知，如果 


lp(d:r) < 00, 


lim 


( 17 ) 


c|0 


则函数系{1，0：， 3 ; 2 ，〜}在1 / 2 中是完备的，即 I 2 中的任意函数 € = 要么可以 

表示为 Er=i 其中 m (^) 


；要么可以表示为这些和（在均方意义上）的极 
限.如果对于序列 r ] i ( x ) , 7] 2 ( x ) , ■ - - ( ra ( x ) = x l ) 运用克拉默-施密特正交化过程，则 

所得规范化正交系恰好与賦范埃尔米特多项式系相同.条件 （17) 对于现在考虑的情 
形 成立. 从而,多项式 { h n ( x )} n>0 是基底,说明在所考虑的概率空间中，任意随机变 

量 （ 都可以表示为 


hi)hi(x) 


^( x ) — l . i,m 


(18) 
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设= {0, 1, 2 ,…}， P = {朽，巧，… } 是泊松分布 

0，1，•…；>\ > ()■ 


例 


A 


X 


— A 


P x = 


— e 


，： r 




T ! 


记 A/(x) = f ( x ) - f(x - = 0，x < 0 )， 并仿照 （ 15) 式定义泊松—沙利耶 （M 

Charlier ) 多项式 




n n (x) = 


(19) 


,n ^ 1, IIq = 1 


P , 


由于 


x=0 

其中 c n 是正常数, 则赋范泊松-沙利耶多项式 { T ^ OrOkw , 其中 7 T n { x ) = n n ( x )/ v ^ 

为规范正交系，并且因为满足条件 （17) 式， {7 r n ( x )} n ^ o 也是规 范化正交基. 

例 3 在本例中将要引进的拉德马赫-哈尔 （ H . Rademacher - A . Haar ) 规范 

正交函数系，不但在函数论中，而且在概率论中也很重要. 

设 D = [0，1)， 叉二 龙([0，1))，而 P 是勒贝格测度.在§1曾经指出，每一个数 
G [0,1) 都可以表示为二进制 小数： 


m 


X 


X \ 4 x 2 


x = — 


2 2 


2 


其中 A = 0 或 1. (为了唯 一性， 我们 约定： 只考虑在二进制小数中含 无限个0 的数 
例如，对于 


110 0 
2 — 2 十 


0 


2 2 2 3 


2 卞 2 2 卞 2 3 卞 


« * » 


» 4 * 


我们只取第一个 .） 

引进随机变童《如以 2 (0；)，…，设 


^ n { x ) = 

那么，对于只有0和1两个可能值的任何有 


rc 


n 


P{x : ^1 = a u 


， 《n = ^n} 


ai , a 2 


丄 〜， . fl l , a 2 . 

* + + 22 + 


a 


a 


n 


n 


二 P 


+ 2^ + 2^ 


X 


晷 » _ 


2 2 


2 


)} 


ai + 竺 + 
2 2 2 


a 


01^2 
+ T + 2 2 


a 


n 


2^ + 2^ 


=P < X ： X 6 


+ 


+ 




V * * 




4 . 


■ 


2 n 


由此 可见， &，&,•，， 是独立伯努利随机变量序列 （图 30 表示6 = 6⑻和& = ^2( x ) 

的构造). 


现在如果设 R n ( x ) = 1 ^ 2 匕 ⑻, n 彡 1，则不难验证函数系 { i ? n } (图31是拉德 

马赫函數）是正 交的： 


RnR 


丑 n ( 工 ) 丑 m(T)dx = S n 


m 


0 
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注意 （ l ， i ^) 三 Ei ^ =0,由此可见该函数系 不是完备的, 




4 2 4 


30伯努利变量 


m 


JC 


113 1 
4 | 2|41 


31拉德马赫函数 


然而，拉德马赫系可以用来构造所谓哈尔系，而哈尔系便于操作，且不仅是规范 

正交的，并且是完备的. 

仍然假设0 = [0，1),，=义([0，1)).设 

ffi(x) = 1 , 

丑2⑻=丑1 ㈤ ， 


k — 1 


k 


2" 2 & +1 ( x )， 若 


，n = 2) + Jfc，l < fc < 2^j ^ 1, 




H n ( x ) 


23 




若不然. 

不难验证 ，⑻， n > 3,可以表示为 


0, 


2 m / 2 ， 若0彡 rr < 2-( m+1 )， 
-2 m / 2 ， 若 2—( m+1 ) < 2~ m , 

其他. 


丹 2 m + l ( 工) 




0, 


H2^ + j(x) = H 2 


,2 m ,m = l,2, 


，J = 1， 


x — 


+i 


2 m 
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32是前8个哈尔函数的示意图.由图32可以得到哈尔函数组成的构造和性 


质的印象 


2 


—2 


2 


2 


0 


0 


-2 


-2 


32哈尔函数 HiOr )， … ， H 8 ( x ) 


不难验证，哈尔函数系是规 范化正交的， 并且在和广中是完 备的， 即如果 

1 或 2, 哈尔函数/ = /㈤ G P ， 贝 IJ 


对于 


P — 


P 


/⑻ -!](/, 瓜) 迅⑻ dx —► 0, n 


— oo ; 


0 


k=l 


而且，依概率 1 (对勒贝格测度）有 


^2(f^H k )H k (x)^f(x) 


， n — 00 


k= 1 


我们将在第七章§4证明这些事实.这些结果由鞅收敛的一般理论导出，并且是鞅方 

法在函数论中的运用很好的实例. 
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6 , 最优线性估计 如果 m ， …， tm 是某一有限规范正交系，则如上面已经证明 
的，对于任意随机变量$ € L 2 , 在线性流形又=又 ( r ? i ，…， r ? n ) 中，存在随机变量 

在又上的投影)，使 


11^ -^11 = infill -CII : C G 又 ( m ， •… An )}, 


这时€ = EZ = i (^^ 这一结果容许自然地推广到 n … 是可数正交系（未必 

是基底）的情形.具体地说，有如下结果. 

定理 假设 


是规范正交随机变量系，又=又(771，仍,…）是由 
…生成的封闭线性 流形. 那么，存在并且唯一随机元歹，使 


r}um. 


i 


m2, 




14 -^11= infills ClhCe^} 


( 20 ) 


这时， 


n 




( 21 ) 


且 e — 《丄文. 

证明记 d = inf {lie -Cll ： C6 歹 } ，并选一序列 C 2 , … ，使此 -Ul 
在证明此序列是基本的.简单的计算表明， 


d . 现 


2 


II Cn - Cm || 2 = 2 ||Cn — <|| 2 + 2 ||Cm — ^|| 2 ^ 4 -(Cn + ^ m ) — ^ 


2 


由于明显 （Cn + “)/2 e 歹，可见 


2 


7；(Cn + Cm) — ^ ^ d 2 1 


2 


从而 IKn — Cm 

_空间 P 是完备 p _(§ io 定理 7). 因此存在随机元使1|心 - f || — o . 由于集合 

歹是封闭 p ， 故 fe 更其次，因为 | e - Cn | 卜 足所以 ||^-i = d ; 从而证明了所 
需要元素 f 的存在性. 

现在证明 乏是 I 中唯一具有所要求性质的元素.假设^ e 更且 

lie —= — 烈 =么 


2 


0, n，m — oc 


那么（由于练习题 3 ) 


K + ? - m \ 2 + lie - W = 2|[^ - ef + 2 \\l - i \\ 2 = 4 rf 


2 


但是 


2 


iie+e — 处 ii 2 = 4| gk +() — 《II >4 d 


2 
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从而 ， = o ， a 这就 证明工 在幺中“最接近” 4的元素的唯一性 

现在证明丄 CCe 穿■由 （20) 式，对于任意 CGR , 


iK-ccimi 卜 eii 


由于 


ik - e - < ii 2 - iie - eii 2 + c 2 hcii 2 — 2($ —《，<)， 


所以 


|Cf 


2 


( 22 ) 


c 


取 c = A (€ - 《，0, A e R ， 则由 （22) 式，得 


K -< e , O 2 [ A 2 || CII 2 -2 A ]>0. . 

对于充分小的正数 A , 不等式 A 2 || C (| 2 - 2 A < 0成立.因此 (^- f , C ) = 0, Ce ^. 

只剩下证明 （21) 式. 

集合置=歹(^ 2 ，…）是炉的封闭子空间，因此本身;^尔伯特空间（具有 

是希尔伯特空间歹的基底，从而 


与 L 2 同样的数量积).随机变量族 


VUV2, 


n 


^2(^ Vk)Vk 


(23) 


i*m. 


n 


fc —1 


由于《一€丄彡 1, 可见 (^ Vk ) = 仏取) ，/ e 彡 0. 于是，连同 （23) 式就证明了 （21) 


式 


□ 


注像有限维情形一样乂称为在幺 =^( m ， m …）上的投影 f 称做垂 

线，而表达式 


€ =《 + (《一€) 


称做正交分解. 

随机变量 f 记作 S ⑷7?1,7/ 2 ,… ） （对照第3小节的 E (^ 1} --- , rjn )), 并且称做(《 

的） 广义条件数学期望. 按由仍,^，…估计$的观点，随 机变量 f 是 

最优线性估计量， 而由 （5) 和 （23) 式可见，估计量的误差为 


关于 


VH 


* 


△ 三 er - a 三肢 一 《 II 2 = lie" 2 — X ； i(e ， 切 )1 


2 


7 . 练习题 

1. 证明，如果$ = 则 HI — | 咖 

2. 证明，如果 （ = l . i _ m.^ n 和 

3. 证明，范数 HI 满足“平行四边形” 性质： 

11€ + 训 2 + 此—训 2 = 2(此 || 2 + | M | 2 ), 


M fe, Vn) rj) 


Tf = 
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4. 证明，正交随机变量族{6，... ，《n}, 满足“毕达哥拉斯 (Pythagoras) 定理 


2 




5 .设 6, C2, … 是 正交随机变量 序列，乂 = 6 +， . •+ 匕. 证明 ，若 E^Ll < CX ), 

则存在随机变量 S(ES 2 < 00 )， 使 U.m,S n = S ，即 I 队-列 2 = E\S n ^S\ 


2 


0,72 


OO 


6. 证明拉德马赫函数 i? n 可以定 义为: 


i ? n ( x ) = sign ( sin 2 n 7 rx ), 0彡 o : 彡 1， 


1，2, 


n 




• • * 


7. 证明，对于 L 2 (^), 


lien ^ iie (，) ii , 

并且等式成立，当且仅当几乎必然《= E ⑷芡). 

8. 证明 ，若 “e L 2 ( jr ) t E (^7}) ^ r?,E(r?|C) = $，则 P 代= ?/} - 1. 

有，的 3 个子 ex- 代数 序列： （貧？)，〶! 2 >) 和 》 ).设 （ 是有界随机变 

. 已知对于每个 n, 有 


9. 




P 


， m\^ { n } ) 


p 


V 




证明 E«|^i 2) ) 




§12. 特征函数 


复数值随机变量特征函数方法是概率论的基本的分析工具之一，这在第三 
章中证明极限定理时，特别是证明中心极限定理时表现得最明显，中心极限定理是 
棣莫弗-拉普拉斯定理的 推广. 这里，我们将限于介绍特征函数的定义及其基本性 


* 


质 


首先，作一个一般性的说明. 

除（取实数值的）随机变量外，特征函数还要求考虑复数值随机变量（见§5第 


小节) 


随机变量的许多有关定义和性质，都可以很容易移植到复数 情形. 例如，若数 
学期望为坎和 E々， 则认为复數值随机变量< = f +圬的数学期望定义为 E< =: 

+ iE V . 由随机元独立性的定义6 (§5) 不难得到,复数值随机变量 G =心+ %和 
C2 = ^2 +切2 相互独止，当且仅当随机向童 （Cl，?7l) 和 (^2 » V 2 ) 独立,或等价地 <7-代 

数少^，仍和，匕仍相互独立. 

与具有有限二阶矩的实数值随机变量的空间 L 2 同时，我们引进复数值随机变 
量 C = 《+切的希尔伯特 空间，其中 E|C| < oo, ICI 2 = P + 7? 2 ,并在其中引进数量积 
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(Ci,C 2 ) = EGf 2 , 其中乙 是复值共辄随机变量.以后实数值随机变量和复数值随机 

变量，一般都称为随机变量，除非必要时才明确指出具体是哪一种. 

还需要指出下列记号.在向量(X e ，的代数运算中，向量视为列 向量： 


ai 


a = 


a 


并以 a T = ( ai r - 

量积 (o,fe). 显然， (a, 6) 

如果 aGR n , 而 H=(r^) 是 


) 表示行向量.对于 a, 6 e R n , 把 Yli ^ i a i b i 理解为 a 和 6 的数 


， 


T 


a 




阶矩阵，贝 lj 


n 乂 n 


E 


T 


(jRo, a)= 


Ra = 


⑴ 


a 


ijdj ■ 


ij—l 


2. 特征函数的定义 

定义 1 设 F = F ( x\x =(々，…， x „) 是 （ R' 方 (IT 1 )) 上的 „ 维分布函数，贝 U 


函数 


^ ㈣ d 尸⑻， teW 1 , 


< f { t ) = 


( 2 ) 


R 


称做 F { x ) 的特征函数. 

定义 2 设4 = (6,…， &) 是空间 W，，P) 上在 K n 中取值的随机向量，贝！ J 


函数 


f e^^dF^x) 

JM . 71 

称做巧(®)的特征函数，其中 F c = F c ( x),x = ( x ir - , x n ) 是随机向量€ = (&,..• , 
匕）的分布函数. 

如果 F ( x ) 有密度/ = /»，则 


代⑷= 


， teR n , 


(3) 


^ X ) f ( x ) dx , teR n 


W ⑷ = 


e 


换句话说，这时特征函数 Wt ) 恰好是函数/ = f ( x ) 的傅里叶 （J. Fourier ) 变换. 

由⑶式和§ 6 (关于在勒贝格积分号下求极限的）定理7,可见随机向量的特征 
函数也可以由如下等式定义： 


= Ee i{t ^\ teR n ， 


(4) 


现在讨论特征函数的基本性质，但是只证明 
的相对重要的结果，将在练习题中给出. 


1的情形.一些涉及一般情形 


n 
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设《=((⑷是随机变量， A = F ^( x ) 是其分布函数，而 


穴⑴ = Ee u ^ 


是其特征函数. 

立即可以指出，若// = < + 6,贝 IJ 




E e 


外⑴ 


因此 


^Pn(t) = e ltb <p^(at). 

其次,如果…上是独立随机变量,而& = 6 +…+ L 则 


(5) 


w = n 作⑺， 


⑹ 


<Ps 


事实上，由于（有界）独立随机变量乘积的数学期望（无论是实数值随机变量，还是 
复数值随机变量，可见§6定理6和练习题 1), 等于其数学期望的乘积，可见 


n 


ips n (t) = Ee 吨 1 +■■.+&) = Ee 辦 1 … Ee 辦 


i-l 

对于用特征函数方法,证明独立随机变量之和的极限定理（第三章§3)，性质 （6) 

是关键，这时，通过和的各项表示分布函数是相当复杂的，具体地说， 


F s n ^ ^ * 




* 


其中符号“ *” 表示分布的卷积（见§8第4小节). 

下面是特征函数的例子. 

_ 

例1 设^是伯努利随机变量，且 P 佼= 1} = p ， P 仪 = 0} = g，p + g = 1，0 < 


p < 1，贝 1 J 


穴⑴ = pe zt + q. 

b 

如果6,…，^是独立与 f 同分布的随机变量，则对于=此- up ) / 


有 


g e ^(^ rx - np )/ y/npq 

V np ^ \ pe u ^+ q] n = [ pe ^\/^ 7 np 

时，有 


^T n (0 = ^ {S n — np) / y/fVpqip) 




— it 


n 


⑺ 


=e 


由此可见，当 


n —► cjo 


PtM — e- 譬 


⑻ 
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>0现在证明 


!| 2 设 N ( m , a 2 ), \ m \ < 


2 


OC , (T 


t 2 。 2 


itm — 


⑼ 


抑⑴ = 


2 


e 


设 W = (€ — m )/ a , 贝 [] r / 〜 iV (0,1)， 而由 （5) 式 


n ( t )= e “ 外 ( at ), 


故只需验证 


i £ 


外 ⑷ =e 

下面的一连串式子就可以证明 （10) 式： 


( 10 ) 


(itx) n _ 

- 0 2 


T 


外⑷ = Ee 郝 


2^3? 

e e 


dx = 


dx 


\/2 tt J - 


\/2 tt 


n ! 


OO 


n=0 


2n 


(it) n 1 

n\ v^TT 

(it) 2n (2ny. 

(2 n )! 2 n n \ 


^dx 


E 


E W 

J 2 n)\ 


n 


(2 n — 1)!! 


x e 


—oc 


n =0 


n— 0 


n 


2 


i 2 


E 


—— e 


n ! 


n=0 


n=0 


其中用到如下关系式（见 §8 练习题乃 


^ dx = B V 2n ^ (2 n - 1)\\ 


2 n 


x e 


\/27 r 


— OO 


IJ 3 设 （ 是泊松随机变量， 


A fc 


— A 


p {《= fc }= 


， A : = 0,1, 


^^6 


k\ 


则 


OO 


OO 


A fc 


( Ae^) fc 


Ee ' t€ = ^2 




itk 


-X 


—入 


二 exp { X ( e lt — 1)} 


( 11 ) 


e 


— e 


■_ 1 c 


kl 


kl 


k—0 


k^=0 


特征函数的性质我们在 §9 第 1 小节曾指出，对于 ( R ,^( R )) 上每一个分 
布函数 F ( x ), 都存在一随机变量 《，使 F ( x ) 恰好是 f 分布函数.因此，在叙述特征 

函数时（无论是按定义1，还是按定义2)，可以局限于考虑随机变量 （ = 《( cj ) 的特征 
函数(^⑴= ^( t ). 

定理1 设随机变量《的分布函数为 F =尸(3：),而 


♦ 


ip { t ) = Ee 埤 


是其特征函數， 

那么，有下列性质 
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1) \< p ( t )\ ^ ^(0) = 1; 

2) < p ( t ) 对于 t eR 一致 连续； 

3) < f ( t ) - 

4) ip ( t ) 是实数值函数的充分和必要条件是，其分布函数 F = F ( x ) 对称，即 


f dF ( x )= f 
Jb J~b 


tLP(x)，B e 及 ㈤ ，一 B = {— 


eB }； 


x : X 


则对于一切 r 《 n , 存在导数 W (r) ⑷，且 
( t )= [ ( ix ) r e itx dF ( x ), 

JR 

⑽⑼ 


5) 如果对于某个 l，E|$ n < 


OO , 


(r) 


( 12 ) 




r 


(13) 


i r 


n 


吣卜 E tt e ^ 

I 

其中 |e„(f )|<3 E |# 且〜⑷ — 0，t 

a) 如果存在有限导数 〆 ㈣ (o ) ，则段 

7) 如果对于一切 n 彡 l，E|(| n < oo 且 

mn ^ 




r 


n 


r 


+ 士&⑷， 


(14) 


n \ 


r=0 


o ； 


— > 


2n 


< OO ； 


n 


lim 


= 二 < oo . 


T 


n 


n 


则对于一切 |t| <r， 


冰) = E 

n=0 

证明性质 1) 和 3) 显然.性质 2) 由下面的估计式 


(15) 


| 冰 + /i) 

和控制收敛定理，以及当 A — 0时 E | e ^ - 1| 4 0,可以得到. 

证明性质 4). 假设分布函数 F = F ( x ) 对称，则对于有界博雷尔奇函数 ff ( x )， 有 


g ( x ) dF ( x ) = 0 


(注意，对于简单奇函数，这由函数 F 的对称性的定义立即可以得到).因此 


txdF ( x ) = 0，故 < p ( t ) = E cos 


sm 


相反，设是实数值函数，则由于3)，可见 


#-€(0 = ^(-0 = 内⑴ = 作 ( 0 ,亡 ^ 
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由此（这将在下面的定理2证明)，可见随机变量和^的分布函数和&相 
等，因此（根据§3的定理1)，对于 B G 义 ( R ), 有 


P{^e B} = P{-(g B} = P{^e 


证明性质 5). 如果 E ( e( n < oo , 则由李亚普诺夫不等式 （§6 的 （28) 式)，有 


E|^| r < oo，r < n . 


考虑关系式 


e 邮一 1 


+ h) _ W ( 亡 ) 


= Ee 说 


h 


h 


由于 


e 邮一 1 


彡 jx | 和 E |^| < 


00 , 


h 


可见根据控制收敛定理，存在 


e th 《一 1 


lim Ee 螂 


h 


h 


等于 


e 叫一1 


Ee 辦 lim 


= zE (^) - i 


itx 


dF { x ), 


(16) 


xe 


h 


h 


因此，存在导数 ip \ t ) 且 


ip f ( t ) = iE (《 e 说 ） =i 


itx 


dF ( x ). 


xe 


用归纳法可证明，导数 < p ⑺ ( t)(l < r < n ) 的存在性，和 （12) 式的正确性. 
直接由 （12) 式得出 （13) 式.现在证明表达式 (14). 

由于对于实数 y ， 有 


71—1 


(w) k t {iy) n 


E 


W — 


cos y + i sin y — 


—— [cos Oiy + i sin 0 2 y ] ， 


+ 


e 




kl 


n 


k^o 


其中队 K 1,| 化 Kl , 可见 


n — 1 


+ — [ cos ^ i ( w )^ + zsin 92 { u ^) t ^\. 




it ? _ 


(17) 


e 


kl 


fc =0 


且 


^ m n + 〜 wi, 


(18) 


fe =0 


其中 


( t ) = E {《 n [ cos ^( o;)<e + isin 0 2 ( uj )^» l ]} 


£ 


n 
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显然， | e n (0 l < 3 E |^ n |, 而且根据控制收敛定理，当 f — 0时， £ n ( t ) 

证明性质 6). 用归纳法证明.首先假设导数 ，⑼ 存在并且有限.证明坎 2 

根据洛必达 （ G. L’hospital) 法则和法图引理 ，有 

1 「 (p f (2h) — <p’(0) 


0 


< 00 




〆 '⑼七2 


2 h 


2 h 


2/(2") - 2/(—2") 


— lim 

h 一 ^0 


二 , lim o — 2 〆 0 ) + 2 ")] 


Sh 


h 


2 


2 


ihx 


_ihx 


oo 


/: m _ 


e 


— e 


=lim 

h^O 


dF ^ = ~^0 


2 h 


2 


sin hx 


2 


x 2 dF ( x ) 


dF ( x )= — 


lim 




x 


hx 


h ― ►O 


— oo 


oo 


从而 


oo 


x 2 dF ( x ) ^ — 〆 ’(()）< oo . 


现在假设 p (2 fc +2) (0) 存在而且有限 


x 2 fe dF ( ar ) < 


oo 


—CXj 


如果 


OO 


： T 2fc dF ㈤ = 0 ，贝 Ij 


x 2 k +2 dF ( x ) — 0. 


— OO 


因此，我们将假设 


广 LXJ 

I x 2 k dF ( x ) 

J — on 


> a 


那么，根据性质 5)， 有 


( p (2h ) ( t ) 


( ix ) 2 k e itx dF ( x ), 


因而 


OO 


(―1 严产 ( 亡 ) 


内 G ? (: r )， 


— OO 


X 


其中 G ( x ) 

从而，函数 (- l ) V 2 fe ) W^ _1 M 是概率分布 G ( x)x G - Hoc ) 的特征函数，并且 
根据己证明的，有 


u 2 k dF ( u ) 






2 


dG ( x ) < 


x 


oc . 


由于心 1 —)^)，可见 


x 2 k +2 dF ( x ) 


x 2 dG ( x ) < 


OC 


— OO 
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证明性质 7) .设 0 < 紿< r ， 则利用斯特林公式（第一章 §2 (6) 式)，有 

m^\ n to) 1/n 


1/n 


Eden 17 


Eiertg 


< 1 ^ lim 


< 1 


lim 


< ——今 lim 


亡 o 


71 


n 


n 


从而，根据柯西准则，级数 EE | ei n ^/ n ! 收敛，因此对于任意 | t | <心级数 
HZo E C ( it ) r / r \ 收敛. 而由（ I 4 )式 


= Y 1 > 1，其中 \R n (t)\ ^ 2fE|er 

r ! n ! 


于是，对于一切 w < t ， 有 


冰 )= E 爷玫 


□ 


注 1 与 （14) 式的证明类似，可以验证，如果对于某个 n > < oo , 则 


i k (t — s) k 


OO 


i n (t — s) 


^(0 = 


^k^isx 


dF(x) + 


(t — s )， 


(19) 


£ 


k\ 


n\ 


fc =0 


其中 kn ( t - s )|<3 E | e n |， 而当艺 


0 时 e n (t — s) — 0 


注 2 关于性质 7) 中的条件，参见下面的第9小节中关于“矩问题的唯一性 


的内容. 


4. 特征函数唯一决定分布函数下面的定理表明，特征函数唯一决定分布函数. 

定理 2 (唯 一性） 假设 F 和 G 是具有同一特征函数的分布函数， 即对 于一切 


亡 e R ， 


/ e itx dF(x) = f 

V ■ — OO V 一 


itx 


dG(x). 


( 20 ) 


e 


OO 


那么 F(x) = G(x). 

证明固定 6 ] R，e > 0,并且考虑图 33 所表示的函数尸 = r ( x ). 现在证明 


f e (x)dF(x ) — 


f € (x)dG(x). 


(21) 


b b+s 


a a+s 


33 
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设 n 彡0满足 [ a,b + 8] C [― n ， n ] ; 数列 {8 n } 满足 1 彡心 j 0, n — oo _ 尸= f € ( x ) 

作为 [- n , n ] 上的连续且在端点上等值的函数,可以用三角多项式一致逼近的（维尔 
斯特拉斯-斯通 [ M . StoneJ ) 定理，即存在 有限和 

/《㈤= E 


k 


( 22 ) 


cik exp 




n 


k 


使 


I 尸 ⑻- /€ ㈤ K 

对于所有 xeR 将周期函数 以 x ) 进行开拓，并注意到 


(23) 


sup 


SU P|/nWi < 2 


那么，由于 （20；) 式 


以 x ) dF ( rr ) = 


f ^( x ) dG ( x ), 


OO 


可见 


f e ( x ) dF ( x ) — 


f ( x ) dG ( x ) 


f € dF - / fdG 








f^dG + 2 S n 






f e rAG +2& + 2 F ([— n ， n ])+2 G ( F ^])， 


(24) 


OO 


其中 


F ( A )- 

H (24) 式的右侧趋向 0, 从而 （ 21) 式得证. 

0 时 尸 ㈤— / (a ， b](x). 因此根据控制收敛定理，由 （ 21) 式，可见 

’ (a ， 6] ( 工 ) dF(T) = 


dG ( x ) 


4 


当 


n — > oo 


当 


£ 


I(aM( X ) dG ( X )^ 


OO 


即 F ⑼- F ( a ) = G ( b ) - G ( a )， 而由于 a 和是任意的，可见对于一切 F ( x ) 

G ( x ). 手是，定理2 麵 IE 

5 - 逆转公式上一个定理说明，分布函数 F = F ( x ) 唯一决定于其特征函数 

<p = < p ( ty 下面的定理将给出函数 f 通过函数#的表达式. 

定理 3 (逆转公式） 假设 F = F ( x ) 是分布函数，而 

禅）= 


□ 


e itx dF ( x ) 


是其特征函数, 
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a) 对于函数 F = F(x) 的任意两个连续点 a 和 fe(a < 6 )，有 


— itb 


c ^ — ita 


e 


— G 


F(b) - F(a) = lim 


p ⑴ dt. 


(25) 




2丌 


%t 


c—oo 


—c 


b) 如果⑴ I 出 <oo, 则分布函数 F(x) 有密度 /(x) 


X 


F ( x ) 


f(y)dy ， 


(26) 


— it 


/ ⑻ 


x <p(t)dt 


(27) 


e 


2 tt 


— oo 


证明首先注意到，如果函数 F ( x ) 有密度 / Or ), 贝 !) 


e ttx f(x)dx, 


W ⑴ 


(28) 


因此 （27) 式恰好是（可积）函数 ifi ( x ) 的傅里叶变换.在 （27) 式两侧同时积分，并运 

用傅比尼定理，得 


b 


— itx 


F(b) — F(a) = I f(x)dx = 


ip(t)dt \ dx 


e 


2 tt 


a 


a 


b 


_itb 


一 itd 


e 


— e 


— itx 


w ⑴ 


沖 ) 


dx \ dt =— 


dt. 


e 


2 丌 


2 丌 


it 


a 


—oo 


在完成了对 （25) 式一定的说明之后，现在开始证明 （25) 式 


)有 


a 


c * — itci 


— itb 


— itb 


c ita 


oo 


e 


— e 


e 


_ e 


itx 


$ 




dF(x) dt 


e 


C 


2 tt 


it 


27T 


it 


—c 


— c 


—oo 


— ita 


— itb 


c 


oo 


— e 


e 


itx 


di dF(x)= 


^ c (x)dF(x), 


(29) 


e 


2 tt 


it 


一 c 


其中，设 


—itb 


— ita 


c 


e 


— e 


itx 


^c(x) = 


dty 


e 


2tt 


it 


_ C 


并且用到傅比尼 定理： 由于 


b 


— itb 


— itb 


— ita 


e 


— e 


e 


— e 


itx 


e~ ltx dx ^ b — 


e 


a, 


it 


it 


a 


且 


c 


(b — a)dF(x)dt ^ 2c(b — a) < oo, 


— c 
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4 


可见应用傅比尼定理是合理的.其次， 


C 


sint(x — a ) — sin£(x 




1 




H 2^ 


一 C 


c(x —a) 


c(x — b ) 


1 


sinv , 
- dv — 


sinu , 
- du 


1 


(30) 


2丌 


2 tt 


v 


u 


—c(x —b) 


— c(x — a) 


函数 


sinv , 
- dv 


g ( s , t ) 二 


V 


s 


关于 S 和 t 一致连续，且当 S 丄〜 DO 和亡 T 加时 


g(s ， t) 


(31) 


—丌 


因此，存在常数 C ， 使对于一切 c 和 X ，有 |^ c ( x )| < C 
式,可见 


此外，由 （30) 和 （31) 


< oo 


Kx)— 少 (X) 


， C — oo , 


其中 


若0：<£1或0：>6, 

或 : r = 6, 


0, 


少 ( x ) = { 1/2,若 

1，若 


x = a 


a < x < b . 


设 " 是 ( M ,^( E )) 上的测度，且 M ( a ,6] = F (6) - F ( a ). 那么，运用控制收敛定 
理和§3练习题1，当 


时，有 


c — ^ OO 


oo 


oo 


^ c (x)dF(x) — 


^( x ) dF ( a ;) = / x ( a ,6) + -/ x { a } + #{6} 


O 


C 


2 


一 OC 


F(b—) — F ⑷ + ^r[-F(a) — + F ⑻— i^(6—)] 

F ( b ) + F ( b -) F ( a ) + F ( a -) 




F ( b ) - F ( a ), 




2 


2 


其中最后一个等式对于函数 F { x ) 的一切连续点 a 和成立 

于是，（邪）式得证. 

b ) 设 /二 _)|出 < oo •记 


— itx 


m = ^ 




e 


2tt 


由控制收敛定理知，此函数对 X 连续，故在区间 [ a ， fe ] 上可积.所以仍可以应用傅比 
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尼定理，可得对于一切函数 F ( x ) 的一切连续点 a 和有 


— itx 


f ( x)dx = 


dx 


e 


2 丌 


b 


一 itx 


— itx 


< p ( t ) 


冰) 


dx ) dt = lim —— 


dx dt 


e 


e 


2tv 


2 tt 


— itb 


— ita 


e 


— 6 


— F ( b ) — F ( a ) 


lim 


2 tt 


it 


由此可见, 


F ( x )= 

而且因为 / ⑷连续，且 F ( x ) 是不减函数,所以/⑻是 F ( x ) 的密度. 

注 逆转公式 （25) 给出了定理2的另一证明. 

定理 4 随机向量 C = (心， …， € n ) 的分量独立的充分和必要条件是，其特征函 
数等于各分量特征函数的乘积： 


f { y ) dy , X 6 E , 


□ 


Ee 中 1 6+… +K W ) = 




， t n ) G R 


fe=l 


证明由练习题1，可见必要性成立.为证明充分性，记 F ( x ir - , x n ) 为随机 
向量€ = (6,，.，，匕）的分布函数，而 Fk ⑻为心 (1 ^ k ^ n ) 的分布 函数 ； G = 

) = ^ i ( xi )-^ F n ( x n ). 那么，根据傅比尼定理，对于一切 （ ti ， …， t n ) 


G(xir 

M n , 有 




G 


tt / ^ thXk dF k ( x k ) 

k = l J ^ 


^ tlX 1+ - + t - x ^ dG ( x u 




e 


jQ Ee ““ 


— E e 办 i 《 i + … +心心） _ 




+ “) dFh ，…， x n ) 


e 


于是，由定理 2 (确切地说，由定理2的多元 类似; 亦见练习题 3) 可见,根据§5的定 
理，随 机变童 6,…，匕独立 

特征函数的必要条件 在定理1中包含特征函数的某些必要条件.例如，假 

如函数 p ⑷不满足该定理的前3个条件之一,则这一函数就不是特征函数. 

验证我们所感兴趣的函数^ 是否特性函数，是一项复杂的事.下面给出 

这方面一些结果 （不加证明). 

定理（傅赫纳—辛钦 [ S . Bochner — A . H . XHH ^ mH ]) 设 ( p ( t),t € JR , 是连续 

函數且 ^>(0) — 1. V ? ⑷是特征函数的充分和必要条件是，它是非负定函数，即对于任 
意实数 < i , * • • , t n 和对于任意复数 Ai , • • , A n , n — 1, 2, …，有 

71 

^ : - ^ 0* 


□ 


參 


(32) 


i,j=l 
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条件 （32) 的 必要性 显然： 因为如果 


it 


w ⑴ = 


x dF ( x ), 




J 2\ k e itkX dF ( x ) > 0 


甲 __ 




条件 （32) 充分性的证明比较困难 .( 参见 [69] 的 T .2, X IX .2). 

定理（波利亚 [G. Polia] ) 设冰） 是连续函数、偶函数、在 （- 00 , 0) 上（因 

此在 （0, oo ) 上）是凹函数（向下凸函数)，且满足 条件： ip { t ) ^ 0,^(0) = l，p ⑷— 

0 (t 4 DO), 那么， < p ( t ) 是特征函数（参见 [69] 的 T _2, X V *2). 

这一定理提供了构造特征函数的相当方便的方法.例如，函数 


) 


<Pi(t) = 


⑷，若 ㈨ < 1， 

若⑷> 1. 




灼⑴= 


0, 


就是这样的函数. 

图 34 所表示的函数 < ps ( x ) 也是特征函数.在 E 间 [- a ， a ] 上^ 3 ( x ) = < f 2 ( x ). 然 

而,与它们对应的分布函数 F 2 和巧 显然不同.这个例子表明，在有限区间上特征函 
数相同，一般分布函数未必相同. 


0 


图34 


定理（马钦凯维奇 [J. Marcinkiewicz]) 如果特征函數 p ⑷具 有形式 exp 少⑷， 
其中 沪⑴是多项式，则此多项式的次数不可能大于 2( 见 [135, 7.3]). 

例如，由此定理可见，函数 exp{-《 4 } 不是特征函数. 

某些特殊分布的特征函数下面的定理是用例子表明，如何根据随机变量的 

特征函数，作出关于此变量的不平凡的论断. 

定理 5 设咚⑷是随机变量^的特征 函数. 


7 


鲁 
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a) 如果对于某个 to # 0, | 作 ( 心 )| = 1 ， 则€是步长为& = 2tt/N 的格点随机变 


量，即 


E p « 


+ nh} = 1, 


(33) 


a 




其中 a 是常数 • 

b) 如果对于两个不同的点 t 和 at, 其中 a 是无理数，有 |^(t)| = \( p ^( at )\ = 1, 
则随机变量€是退化的： 


P 代 = a} = 1 ， 


其中 a 是常数 • 

C ) 如果 1^(01 = 1, 则随机变量€是退化的. 

证明 a ) 如果 |^(^ o )| = Mo 一 0,则存在实数 a ， 使 t Q ( f ( t 0 ) = e itoa . 那么， 


ito(x — 


a) dF(x ) 泠 


itgCL 


^ itoX dF(x) ^ 1 


e _ 


e 


e 




costo(x — a)dF(x) => / [1 一 cos to — a)]dF(x) = 0* 


> 1 - 


由于 1 — 


to(x - a) ^ 0 ? 由 § 6 第 2 小节性质 H ， 可见 （P 


) 有 


COS 


a.c. 


1 = COS^o(C "- a )， 


而这与 （ 33) 式等价. 

b) 由假设 I 内⑴ I = I 作 (M)| = 1 和 （ 33) 式，可见 


OO 


27 m 


+ ， 27T7T1 

^ — b -\ - — 


at 


n=—oo 


m=—oo 


如果 $ 是非退化的，则在集合 


} 


} 


27 m 


2 丌 m 


和 U + 


,n = 0, 土 1 ， 


— 0 } 土 1 ， 


a — 


* 畢 * 


• • • 


at 


上至少存在两个不同的点 


27 m 1 


27 rmi 


27rri2 


27rm2 


b + 


= 6 + 


at 


at 


由此得 


2 tt 


2 tt 


(n! — n 2 ) = —(mi - m 2 )， 


at 


而这与假设 “ a 是无理数”矛盾，故 b ) 正确.此外，由命题 b ) 可得命题 c ) 


□ 





第二章概率论的数学基础 


312 . 


随机变量的半不变量和矩的联系设（=(6,… ，4) 是随机向量，函数， 


争 


抑⑷ = Ee i(t ，㈡ 


， t = (ti ， * ’ • ，亡 fc) ， 


是它的特征函数.假设对于某个71>1,£|&|"<00,《=1，一，々，由§6的赫尔德不等 

式 （29) 和李雅普诺夫不等式 (27), 可见对于一切非负 

n , (混合）矩存在. 

如定理1，由此对于 w +…+ i/fc < n , 可见偏导数 


- 且 H + 


+外彡 


"1， 


* « • 


- \-i^k 


(亡1， * •. ，亡 fc) 


k 


的存在性和连续性.那么，将 …、 t k ) 展为泰勒级数，可得 


；^ i +-+ i^k 


- m { p ^^ k ) q x 


E 


作(尤1，… ， tk ) = 


* m )， ( 34 ) 


" i ! 




• « * 


^iH - 


其中 \ t \ = \ h \ + - ^ \ t k \, m 






是 p = ("1，.. ■ ，外）阶（混合）矩. 

函数 < Mti ， …， t k ) 连续，代(0,… , 0 ) = 1 ,因此在 0 = ( 0 ,… ， o ) 的某邻域内 
(\ t \< S ), n ( t u -- ,4)/0. 在此邻域内存在连续偏导数 


Ql^l + "+U h 


In 代 (h ， … ， 4 )， 


k 


其中将 In 2 理解为对数的主值（假如 z = re ' -tt < 0 < tt ， 则假定 lnz 为 lnr + 叫 

因此，…， 4) 可以表示为泰勒公式 


- \-i^k 


("1，…外） 


E 


ln(p^(tir- ,t k ) 


(35) 




"1! …外 


- 


其中系数 4" 1 -- 

不变董或累积量. 

注意，如果 《和 n 是两个独立随机向量,则 


外） 


称做随机向量《=(6,…， Cfc ) 的 


( Ml ， …， Vfc ) 阶（混合）半 


V 




ln<f^ + 7 ] (t) = In 代⑺ + In %⑴， 


(36) 


因此 


(以 1 ，…，外） 


(1/1 ， … y U k ) 


卜 1，”. Wk) 


(37) 


= S 


V 


V 


(也正是这一条性质说明“半不变量”名称的合理性0 
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为简化记号，并且使 （34) 和 （35) 式具有“一维”的形式，我们引进如下记号. 
如果 p fc ) 是具有非负整数分量的向量,则设 


y\ = "1!. * M = "1 + …+ 以 ， f • 


k 


亦设 


(^) _。(，々，… ^ k ) 

户 \ - O ^ ? / / i ， 


= m ^ 1 


… ^ k ) 


s 


那么， ( 3 4) 和 (35) 式具有如下形式 






内 W = 二 

l ^ l^n 

ln ^(0= Y 1 

下面的定理及其系给出矩和半不变量的联系公式. 

设《=(匕，… ，6) 是随机向量，满足 E|&| n < 00 , i = 1, 

那么，对于一切 p =(心，，… fc ) 且 |厂| 彡 n ， 有 


r + o (| 扩), 


(38) 


— -m 


v\ 


;IW 


(") 


t^o(\tn 


(39) 


— ' s 




定理 


， fc，n > 1. 


• 4 • 


ftr ))， 


v \ 




E 


(40) 


入 ⑴！ … A ⑷！ 

p=l 

(一1广 一 1 

q\ A ⑴！ … A ⑷！丄上 

p=l 


A ⑴ + "，+ A(d —^ 


q 


i^i 


n - r )， 


㈦ _ 


E 


(41) 


A ⑴ + .“+a ⑷ 


其中 E 


表示对于一切满足 | A ^)| > O ，；^ 1 ) + •• + A ⑷ = i /的“有序非负 


入 ⑴+ … + 入 (9) 二 1/ 


整数分量的向量 A 求和. 

证明由于 


外 ( t ) = exp { ln ^( t )}, 

则将 exp {- - - } 展成泰勒级数并考虑到 （39) 式，得 




TI 


#1 


• E 

1剜入 K 

比较 （38) 和 （42) 式右侧0的项，并考虑到 lA^I +…+ | A (叫=卜⑴+…+久(叫， 
得 （40) 式. 

其次， 




+o(itn 


(42) 




XI 




Q— 


71 


屮 I 


U).A 




In 作 ⑴ =In 1 + 


+^(|tn 


(43) 


KlAj^n 
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对较小的 Z 有如下展开式 


n 


( — 1 ) 9-1 


ln(l + 2:) = 

0=1 


z q + o ( z n ) 


<2 


将此展开式用于 （43) 式，然后将项0的系数与 （3 S ) 式右侧相应项的系数比较，得 

(41) 式 




系1在矩和半不变量之间有下列 公式: 


X 


jy \ 


n[4 A )p ， 




E 


(44) 


n ! > r x ! (入⑴!)、…（入⑷!)％ y 

1 


{Tj 入⑴ + … +r r 


x 


(一 1) U ! 


u \ 


n[-r)p， ㈣ 


E 


! (入⑴…… （ A ⑷!)〜丄 

J = 1 


n ! 


• 厂 X 


* * 


{Tj A ⑴ +...+7^ A ⑷ =|/} 


表示对于一切满足 | A ⑴ I > + --* + r x A ^ 


的“有 


其中 


E 


V 




{rj 入⑴十 … +r x \( x )=i/} 


序正整数 rj 的数组”求和. 

为证明 （44) 式,假设 （40) 式中相应地有 n 个向量等于 A &),, r x 个向量等于 

入 “:)(〜_ > 0, n + 

个不同的向量组（精确到顺序）与向量组 （ A ⑴,… , A ^>) 重合.然而，假如两个向量 

组，例如， （ A (1) ，… ， A ( W ) 和 （ X (1) ，…， X ( ’ 仅区别于分量的顺序，则 


g ), 而且所有向量 A ( M 两两不同.恰好存在 g !/( n ! 


0 


+ r x 


r 




i • 


_ 畢 


X 


Q 


Q 


(A (P) ) 


(A (P) ) _ 


n 


s 


P=1 


p—l 


所以，可以将仅区别于顺序的数组视为同一数组，则由 （40) 式得 （44) 式. 

类似地可以由 （41) 式得 （45) 式. 

系2考虑 "= (1，…， 1) 的特殊情形.这时，矩 = ECi --^ fc 以及相应的 
半不变量称做简单的. 

联系简单矩和半不变量的公式,可以由上面给出的公式得到.不过,最好将其写 
为另一种形式. 

为此引进下面的记号. 

设々= {1,2, …， / c } 是向量$ = (6, …， 心）之分量下标的集合 • 假如 j g 々， 
则以6表示由下标属于 J 的向量 f = (6,•… ，6) 之分量构成的向量.设 x (0 表示 
向量0^， 


}, 其中，若 i e J , 则 Xi = 1;若 i _ /,则 Xi = 0* 这些向量与集合 

对应.因此，记 


，x 


n 




(X⑺) 


(X(/)) 


m ^( I ) = 


， s ^( I )= 


s 


换句话说, m € ( J ) 和 s ^( I ) 是向量 € = (心,…，匕）之子向量，心是简单矩和半不 


变童 
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其次，根据定义（见第一章§1第3小节)，集合 J 的分割,指不相交非空集合 I p 
组，如果 = 

鉴于这些记号，有如下公式： 


Q 


⑼ = e nwu 


(46) 


m 




Q 


dn = E (-1 广 w - wll %%)， 

i p =i p=i 


(47) 


s 


其中 E 表示对于集合 I 的一切分割求和，其中1 < g < N { I )、 而 N ( I ) 是集 


Ip 二 I 


合 i 中的元素个数. 


为证明 （46) 式， 要借助 （44) 式.如果1/ = xW 和 入⑴ +…+ A ⑷ = ", 则 A ( p ) = 

x ( h ) J P C /, 一切 A ⑹各不相 同，； ^)! 

与分割 J = ZU h 

类似地，可以由 （45) 式证明表达式 （47) 的正确性. 

例4 设$是随机变量 （/? = l ), m n — = E^ n 

(41) 式得如下公式： 


1，且每一 * 无序组 { x ( D ，...， X ( ig )} 


V 


对应.从而 ，由 （44) 式得 （46) 式 




(n) 


那么，由 （40) 和 




二 S 


m 


mi = si , 

m 2 = s 2 + Si ， 

m3 = S 3 -\- 3502 + 5 ?， 

rri4 = S 4 + 3^2 + 4^x53 + 6sf52 + sf, 


(48) 


= 


Si = mi 

s 2 = m2 — mi 

53 = m3 — 3 mxm 2 + 2mi, 

54 = 1714 — 3 m$ - 4 mim^ + — 6 m|, 


2 


= D (， 


(49) 


例 5 设 f 〜 iV ( m ， cr 2 ) T 由⑼式可见 


t 2 a 2 


In 抑⑴ itm — 


2 


由 （39) 式幻 


a 2 , 而从3阶起一切半不变量都等于0,即 s n = 0( n 彡 3). 

需要指出，由于马钦凯维奇定理，形如 exp ^( t ) 的函数,其中沪⑴是多项式，则 

只有当该多项式的次数不大于2时，才可以做特征函数.特别，由此可见高斯分布是 

具有下面性质的唯一分布:从某个 n > 3起一切半不变董& = 0. 


= 771, S 2 = 
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例6设 S 是参数为 A > 0的泊松随机变量，则根据 （11) 式， 


In 作 ⑴= X ( e lt — 1). 


由此可见，对于一切 w > 1，有 


(50) 


s n — X 


例7设€ =(匕，…，00是随机向量，则 


= 义⑴， 

m 《 (l ， 2) = S|(l,2) + s e (l)s c (2), 
m^(l,2,3) = s^(l,2,3) + .^(l,2)s^(3) 4 - s^(l, 3)s^(2), 

+4(2,3)4(1) + s$(l) 义 (2)\(3 )， 


(51) 


这些公式表明，简单矩可以相当对称地通过简单半不变量表示.假如设^ = 6 
三…三6,则由 （51) 式自然地得到 （48) 式. 

由 （51) 式可见公式 （48) 中系数的“组群”来源.此外，由 （51) 式可见， 

s 《( l ，2) = m e ( l ? 2) - m e ( l ) m e (2) - E ^ i ^ 2 - E ^ E ^, 

即 s c ( l ? 2) 恰好是随机变童6和&的协方差. 

矩问题的唯一性 设随机变量$的分布函数为 F ( x ), 特征函数为假 

E^ n , n > 1* 

由定理2知特征函数唯一决定概率分布.现在提出另一个问题（矩的唯一性问 
题)：矩 { m n }^! 是否唯一决定概率分布？ 

更确切地说，假设两个分布函数 F 和 G ? 所有的矩都相同,即对于一切整数 n 彡0, 


(52) 


* 


设有一切阶矩 


m 


有 


x n dF ( x ) 


x n dG ( x ) 


(53) 




问由此是否可以得出 F 和 G 相同的结论？ 

一般，对该问题的回答是否定的.为证实这一点，我们考虑分布函数兄假设其 


密度为 


，若 a : > 0, 

若 x < 0, 


fee 


— ax 


/W = 


o , 


其中 a > 0,0 < A < 1/2,而常数 A : 由规范性条件 / f ( x)dx = 1决定. 

记 /? = a tan A7T ， 则 


o 


[1 £ sin ( Px x )], I < 1 ， x > 0 

若 rr 彡 0 


ke 


— ax 


5 ⑻ = 


0, 
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显然 〆㈨ > 0_现在验证对于所有整数 n > 0, 


X 


sin px^dx = 0* 


x n e — ⑽ 


(54) 


o 


熟知，对于 p > 0和复数 g 的实部 Re 9 > 0,有 


r(ri 


t P-l e -gt dt = 


q p 


0 


设 /> = (n + 1)/A, g = a + 切，亡 = ，贝 ! 1 

_ 1 ) e _ ( a + 切) x 


oo 


A 


入 


Xx x ^dx = A 


—(a+i/3)x 


71 


dx 


x e 


o 


o 


A 


A 


sin Px x dx 


= A 


工 n e _ ⑽ 


cos/?^ a da ： — iX 


x n e~ ax 


o 


0 


r 


A 


(55) 


1 (1 + itan Xtt) 1 ^ 

但是，由于 sin(n + l)7r = 0, 有 

(1 + i tan Xtt ) 


a 入 


=(cos Att + i sin 入 7r) ^ (cos 入 7 T) 一 ^ 

(cos Att ) = cos(n + 1)tt x (cos A 7 t) 


入 


i(n+l)n 


n+l 

A 




=e 


这样 ,( 55 ) 式的右侧是实的，即对于任意整数 n > 0, (54) 式成立.现在 G ( x ), 作 
为取以 〆 x ) 为密度的分布函数.那么，由 （54) 式知分布函数 F 和 G 的一切矩对应 

相等，即对于任意整数 n ^ 0, (53) 式成立. 

现在引进保障矩问题唯一性的某些充分条件. 

定理7 假设 F = F ( x ) 是分布函数，且对于 w >1, 


| a ;| n dF ( x ) 


f^n = 


— oo 


如果 


1/n 


IEi <oo ? 


(56) 


n 


则矩 { m n } n>l7 其中 


OO 


x n dF ( x )^ 


m n 




—OO 


唯一地决定分布函数 P = F { x ). 

证明由 （5 g 式和定理 1 的命题 7), 可见存在> 0,使对于一切 ㈨ < 心，特 
征函数=/°° 


it 


x dF ( x ) 可以表示为 


e 


k 


( it ) 


…⑴ = 


—rrrn k , 


k \ 


fe=0 
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因而矩 { m n } n ^ i 对于一切 | i | 彡(0,唯一决定特征函数 的值. 

取点彡 t 0 /2. 那么，如同 （15) 式的证明，由 （56) 式可以导出，对于一切 

\t —沒| < 亡0， 


(t — S) 


< p (^) = 


<p {k) (s), 


k\ 


其中 


e lsx dF ( x ) 


唯一决定于矩从而，对于一切 | i | < 3 i 0 /2,这些矩唯一决定特征函数 p ( t ) 
的值.继续这一过程可以断定，对于一切 矩 { m n } n >1 唯一决定特征函数^),故 

也唯一决定分布函数 F ( x ). 

系1矩唯一决定集中在有限区间上的概率分布. 

系2矩问题唯一性的充分条件是： 




(^2 n ) V(2n) 


(57) 


2 n 


为证明只需注意到，对于奇数阶矩分部估计，然后利用条件 （56) 
例设 F ( x ) 是正态分布函数， 


F { x ) = 




V2ira 2 J_ 


那么， 


(2 n )\ 

2 n 7z! 


2n 


爪 2n+l = 0, 


而由 （57) 式，可见这些矩是只有正态分布才有的矩. 

最后，我们引进卡尔莱曼 ( T . Carleman ) 准则（不加证明). 
卡尔莱曼准则（矩问题的唯一性） [69, 卷2, W .3.] 
a ) 设是某概率分布的矩，且 


E 


rj (m 2n )i/(2n) - 


那么， { m n } n >1 唯一决定概率分布. 

b ) 如果 { m n } n >1 是集中在 [0, oo ) 上概率分布的矩，则 { m n } n ^ i 唯一性的充分 


条件是 


E 


二 (m„)V(2n) — 
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10,埃森不等式 F = F(x) 和 C ? = G(x) 分别是以/ = /( t ) 和 g 5 ⑴为特 

征函数的分布函数.下面的定理说明（略去证明)，根据/和#的接近程度，如何（在 
均匀尺度下）估计 f 和 g 的接近程度.（关于该定理的应用见第三章 § n .) 

定理（埃森 [ C . G . Esseen ] 不等式）设 G{x) 有导数且 sup x < C 7, 则 

f(t) — g(t) 


T 


2 


24 


dt-\^ — sup \G\x)\. 


sup \F(x) — G{x)\ ^ — 


7 T 


0 


X 


X 


11. 常 见分布的特征函数表 表 2-4 和表 2-5 是一些常见分布的特征函数表 




- 4 




分布名称 


特征函数 

1 

_ _ fi ^ e itN ) 

ATI } 


离散均勻 


伯努利 （ J. Bernoulli) 




泊松 （ S. D. Poisson) 


exp{A(e lt ― 1)} 


几何 


负二项（帕斯卡」 


p(l — qe 


分布名称 


特征函数 


itb 


ita 


e 


— e 


[a,b ] 上的均勾 


it(b — a) 


正态或高斯 

(C_ F_ Gauss) 

伽马 （ r) 


^.2,2 
itm ——— 


exp 


2 


(1 —邱) 


— OL 


(it) k T(a + k) 

t + p + k)T(l + k) 


r(o ： + /?) 


贝塔 （ B) 


指数 


一 it 


X 2 c ita 


双测指数 


(卡方) 

t ( 学生） 


一 n/2 


_ (1 - 2it) 

y^f r((n + 1)/2) |£| expf-y^} 

r(n/2) 2 2 (^- 1 >(m- 1)! 


X 


m —1 


X ； (2fc)!Cf, 1 ^(2|i|v^) 


m— 1 — fc 


k~Q 


若 m = (n + 1)/2 是整数 


柯西 （ A. L. Cauchy) 


_0Jt| 


e 
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12. 练习题 

1. 设（和 7? 是独立随机变量 ， /⑻ = /i(x) + if 2 (x),g(x) = gi(x) -f 也⑻，其中 

九⑻和 g k (x)(k = 1,2) 是博雷尔函数 • 证明，如果 E |/(0| < oo , E | W 0 l <⑺，则 


E \ m 9 ( v )\< 


oo 


且 


mo9(v) = mo x e 没 ⑻. 

2- 设心，…，匕）且 ER 『< oo , 其中 II 4 II = x / E ??- 证明 

穴⑷ = f 乂) fc + “⑷ Ml n ， 


fc =0 


其中 * = ，…，心）且&(0 — 0 ，t 

3. 对于 n 维分布函数 F = F n ( x u . 

4. 设 F = F ( x u 

利用 §3(12) 式的记号，证明逆转 公式： 


0 


— > 


) 和 G = G n (x 


， x n ) ，证明定理2 

) 是 n 维分布函数，而 w = < p ( t u …， t n ) 是其特征函数 




1， 


-♦ « 


* 


，： r 




71 


n 


— ^tkdh 


— itkbk 


c 


c 


e 


~ e 


P(a, b] — lim 


W (亡 1，… • ， 


(2tt) 


n 


—c 


—c 


fc=l 


(在上面引进的逆转公式中， ( a , 6] 是函数 P ( fl ，6] 的连续区间，即对于一切 A : = 1,…, 

点 a k , b k 是边缘分布函数 F k ( x k ) 的连续点，而边缘分布函数 F k ( x k ) 是由联合分 
布函数 F = F ( Xl , …， : r „) 将除抑之外的其余变量设为+00得到的 .） 

5 •设 iPk ( t )， k > l 是特征函数,而非负实数 A fc > > 1，满足条件= 1. 证明 

是特征函数. 

6. 设#⑴是特征函数，问 Rep ⑷和是否特征函数？ 

7. 设 <^1,^2, ^3 是特征函数，且 

8. 证明表2 - 4和表2 - 5中特征函数式的正确性. 

9. 设 （ 是整数值随机变量，而 ㈣ t ) 是其特征函数.证明 


n ， 


，问是否由此可见 


? 


^ 1^2 = <Pl<f3 


<f2 = <P3 


7T 


— ikt 


p «= k }-^ 


<^dt)dt, fc = 0,±l ， ±2, 


e 


_ 7T 


10. 证明在具有勒贝格测度 / X 的空间 L 2 = L 2 ((-7 r ，7 r ]，^(-7 r ，7 T ])+， 函数系 


i\n 


,n = 0, 士 1 ， 


~ f _ G 

\/2^ 


* • • 
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构成规范正交基. 

11. 假设在博赫纳-辛钦定理中所考虑的函数一⑷是连续的.证明下面（里斯 
[F. Riesz] ) 结果，该结果说明在什么程度上可以去掉连续性假设. 

假设 W = Wt ) 是复数值勒贝格可测函数且= 1. 那么，函数 Wt ) 是正定的， 
当且仅当它（在数轴上勒贝格测度几乎处处）等于某一特征函数. 

12. 判断下列各函数是否特征函数： 


- I * 


一 ㈨ 


…⑴= 

<PW = (1 + I « I ) _1 ; ^W = (i + i 4 ) -1 ; 

1 - |斜 3 ，若 1(1 彡 1， 

若 ㈨ > 1; 

13■设 w ( t ) 是分布函数 F = F ( x ) 的特征函数， { x n } 是函数 F ( x ) [厶 F ( x n ) = 
F ( x n ) - F ( x n ~)>0] 的间断点的集合.证明 


, 0 ^ fc ^ 2; ( p ( t ) 


, fc > 2; 


e 


= e 


1 — |*|，若 | t | < 1/2, 

l /(4| t |)， 若 | t | > 1/2. 


W ⑴ = 


= 


0, 


T 


⑴ | 2 dt = ^2[AF(x n )} 


2 


lim 




T^oo T 


-T 


n^l 


14, 称函数 


Q(X;l) — supP{x < X < x + /} 




为随机变量 x 的集中函数. 证明： 

( a ) 若 X 和 Y 是独立随机变量,则对于一切 Z > 0， 

Q{X + y ；0 ^ min { Q ( X ; l ), Q ( Y ; l )}; 

(b) 存在的 ,使随机变量 X 的 Q ( X ; l ) = P{xf ^ X ^ xf - hl } 和随机变量 X 的 

分布函数连续，当且仅当 Q ( X ; Q ) 

15.设 X 是分布函数为 F = F ( x ) 的随机变量， { m n } n>1 是其矩序列，其中 
m k = f ^ x ^ Fix ). 证明，若对于某个 

唯一决定分布函数 F = F ( a :). 

设 F = F ( x ) 分布函数，而 pW = /^° Q itx dF ( x ) 是其的特征函数.证明 


0 . 




0,级数 E ^ s k 绝对收敛，则 { m n } 


S > 


n^l 


16* 


— itx 


lim — 

^oo 2c 

lim ~ 

: 400 2c 


( p ( t)dt = F ( x ) — F ( x -), 


e 


\< f { t)\ 2 dt = 5^[ F ( x ) - F ( x -)] 


2 


x€R 


17. 证明每一个特征函数 9(0 都满足不等式 ： 1 - Reip(2t) ^ 4[1 ^ Re<p(t)l 

18. 假设特征函数 p ⑷ 满足 •• 冰 ） = 1 + / ⑷ + o ( i 2 ) 彳 — 0,其中 /⑷ = ~f(—t) 

证明 P ⑷三 L 
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19. 证明对于每一个 n > 1，函数 








Wn ⑴ — 


( it) n /nl 


是特征函数. 

20. 证明 


oo 


1 — Rep (: r) 


2 


\x\dF(x). 

21. 假设特征函数 v ? ⑷满足:= 1 + 0(| t| a )，t — 0,其中 o ; G (0,2]. 证明以 

< f ( t ) 为特征函数的随机变量 （ 具有如下 性质： 

h 

P{|^| > x} = 0(x^ 0L ), x — 0* 

_ 

22. 如果 WO 是特征函数,则函数|^)| 2 也是特征函数. 

23. 设尤和 K 是独立同分布随机变量,其数学期望为0和方差为 1. 基于特征 

函数的性质,证明，如果随机变量 (x + y )/ V 2 的分布等同于随机变童 x 和 y 的分 
布$，则 f 是正态分布函数. 

24. 如果# = ^ ⑷ 是特征函数，则对于某一个 A > 0函数 e ^- 1 ) 也是特征函 


dt = 


亡 2 


— oo 


数 


25.设 X 是分布函数为 P 的非负随机变量.对于任意 A 彡0,由公式 


-AX 


—Xx 


FW = 


dF { x ) 


e 


0,oo) 


定义的函数 F = F (\) 称做 X 的拉普拉斯变换. 证明如下伯恩斯坦 （ C . H . Bepn - 
TeiiH ) 准则：函数/ = /( A ), A G (0, oo ) 是分布函数 F = F ⑻， x G [0, oo ) 的拉普 

拉斯变换的充分和必要条件是：函数/ = /( A ) 是完全单调的（即存在所有阶导数 
/⑹ ( A)，n 彡 0 且 (-l)V (n) (A) ^0). 

26.设是特征函数,证明下面的函数也是特征 函数： 


1111 


( f ( ut ) du ^ 


e ~~ u ( p ( ut ) du . 


0 


0 


§13. 高斯系 


离斯系的特点和重要性 在概率论和数理统计中，髙斯分布或正态分布、高 

斯随机变量、高斯过程和高斯系有特别重要的作用.这首先因为有 中心极限定理 

(第三章§ 4 )，棣莫弗-拉普拉斯定理是其特殊情形（第一章 §6). 根据这一定理，正 

态分布具有通用的 特点： 在并不“拘谨”的条件下,大量独立随机变量或随机向量之 
和的分布，可以很好地用正态分布来逼近. 


1 
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正是这种情况，从理论上说明了统计实践中普遍的“误差律”，它表现为由大量 
独立的“基本”误差叠加形成的测量误差服从正态分布. 

多维正态分布依赖于少量参数，在建立简单的概率模型时是其毋容置疑的优点. 
髙斯随机变量有有限二阶矩，故可以用希尔伯特空间方法研究其性质.重要的情况 

是，对于高斯随机变量的情形，不相关性变为独立性，使得有可能大为加强％ 2 -理 
论”的结果. 


髙斯系 的定义注意到（根据 §8) 随机变量《= 《( a ;) 称做服从参数为 m 和 

的高斯分布或正态分布的 K 〜 7 V ( m ， a 2 ), | m | < oo ， cr 2 > 0)，如果其密度为 


雩 


2 


(7 


(x —m) 


fd x ) = 


⑴ 


e 


7TCT 


其中 O " = +\/ o ^ 


当 a ! o 时，密度 / e ( x ) “收敛于集中在点 


的心函数”.所以自然称随机 
变童€ =《(0；)服从参数为 m 和 a 2 = 0的高斯分布或正态分布 （f 〜 7 V ( m ,0))， 如果 

P {^ = m } = 1. 

不过可以给出另一定义，使之既包含非退化（^ 2 > 0) 情形又包含退化 （ C 7 2 = 0) 
情形.为此，考虑特征函数 外 ( t ) 三 Ee^,f G R . 

如果 P 仪 = m } = 1，则显然 


x = m 


n (0 = e itm , 

如果 € / N ( m , a 2 ), a 2 > 0, 则根据 §12(9) 式，有 


( 2 ) 


itm— 


穴 (0 = 


(3) 


易见，对于 a 2 = 0, （3) 式的右侧与 （2) 式的右侧相同.由此及§12的定理1，可见参 
数为 m 和 a 2 (\ m \ < oo , cr 2 ^0) 的髙斯随机变量,可以定义为特征函数丹⑷由⑶ 

式定义的随机变量.运用特征函数的方法,在多维情形特别方便. 

设 $ =( 匕 ，…， U 是随机向量，而 


^Ee i(t ^\t= ⑷， … ， GR n ， 


(4) 


是其特征函数（见§12定义 2 J . 

定义1 称随机向量$ = (&，...，&)服从高斯分布或正态分布，如果其特征函 
数 ^{ t ) 有如下形式： 


， m n )，| mfc | < 00 ,而 H = ( r ^) 是 


(5) 


其中 m = ( mi , 

N ( m y JR ))- 


阶非负定矩阵（简记为 


n x n 
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鉴于所引进的定义，首先产生一个问题， （5) 式的函数是否特征函数？现在证明 

它确实是特征函数. 

为此,首先假设 H 是非退化的. 那么存在逆矩阵 A = R \ 且函数 

|^| V 2 
(27 T ) 1 / 2 

),| A | ^ det A . 该函数是非负的.证明 

f e l ^ x>} f(x)dx 

JR 71 


B (雄 


/ ㈤ = 


- m ),( x - m )) V , 


⑹ 


exp 


其中 


(工 l ，. 


x = 


• J 


n 




= e 


或同样地 


| A |" 2 

(27T) n , 2 


e -^(A(x-m),(x-m))^ x _ e ~i(Ht,t) 




In 三 


⑺ 


e 


R 


n 


在积分中作变量替换 


x — rn ~ Zu , t — Zv , 


其中 Z 是正交矩阵，满足 


Z t RZ = D , 


而 


di 


0 


- - 




0 


是对角矩阵,其中 A > 0 ( 见 §8 引理的证明).由于 I 只 I = det 可见 di >0 ,i 


因此 


1， 


，n 


9 罾 


| A | = \ R ~ r \ = d \ 


-l 


d : 


⑻ 


71 


其次（见 §12 第 1 小节的记号)，有 


i ( t , x — m ) — ~( A(x — m ), (x — m )) 

i ( Zv , Zu )- \{ AZu , Zu ) = i ( Zv ) T ( Zu ) - \{ Zu ) T A ( Zu ) 


2 


2 


•一 T 


t Z t AZu = 


T 




=tv u —- 


m 


m 


2 


2 


由⑻式和 §12 的 （9) 式，可得 


1 rj\ 

iv u- D 


In = 


u 


du 


2 


e 


( 2 7 T 产/ 2 (屯 …屯 ) V 2 


R 


n 


71 


2 


n 


2 


XL 


n 


dwfc = 


^VkUk — 


2 


2 


e 


k 


e 


(27T0ffc) 1/2 


— OO 


k=l 


k=l 


T 




^v t Z t RZv 


1 t T Rt 




Dv 


v 


= 


2 


=e 


=c 


=e 
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由 （ 6 ) 式亦可见 


f(x)dx = 1 

于是，函数 （ 5 ) 是 n 维（非退化）高斯分布的特征函数 （§ 3 第 3 小节） 

现在，设是退化矩阵.设 e > 0 ,考虑退化矩阵及 £ 三 R + sE , 其中五 是单位 
矩阵，那么，由已证明的,可见函数 


⑼ 


R n 




ip e (t) — exp 


是特征函数 




/⑷= 

其中 F e ( x ) = 巧 ( n … ， x n ) ln 维分布函数, 


dF E ( x ), 


e 


R 


当 


0时 


ip(t) 


i ( t y m ) — ~( R e t ^ t ) 


exp 




2 


极限函数 f ( t ) 在 0 点 （ 0 , …， 0 ) 连续. 因此，根据定理 1 和第三章§ 3 的练习题 1 , 

是特征函数. 

于是，定义 1 的适定性得证. 


3 . 高斯系的均值向量和协方差矩阵现在说明特征函数的 （ 5 ) 式中，向量 
和矩阵丑=(巧）的 含义. 


mi 


由于 


1 \ 1 ' 

= i ^2 t k m k - - r k it k ti , 

fc=l k,l=l 

由 §12 的 （ 35 ) 式，以及矩和半不变量的换算公式，可见 


ln ^( t ) = i { t , m ) — 


( 10 ) 


( 1，0 ,… ， 0 ) 


( 0 ,… ，0，1 ) 


= E 心 ，… 


= E^ n 


mi = 


，爪 n = 名 


类似地，有 


( 2 , 0 ,… ，0 ) 


( 1，1， … ， 0 ) 


= J %， Vi2 = 


二辦(6,6)， 


rn = 


—般 


rij = cov ^ i ^ j ) 


于是， m 是 f 的均值向量 ，而丑 是协方差矩阵. 

如果矩阵丑非退化，则可以通过其他途径得到这些结果.具体地说，这时向量 

有 （ 6 ) 式给出的密度 /(X )， 而且通过直接推算可得 


E 4 三 


x k f(x)dx = m fc ， 


(11) 


cov (^， 心 ）= 


(: Cfc — nik)(xi - mi)f(x k ,xi)dx k dxi = r k i 


— OO 
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4. 高斯向量的性质我们现在讨论高斯向量的若干性质. 

定理1 a ) 对于高斯向量，其分量不相关与分量独立等价 


£ R ， 随机变量 （之 ，入）= Ai^x +… • + Xn ^ n 服从两斯分布. 

证明 a ) 如果向量€ = (6,…，匕）的分量不相关，则由其特征函数 ^( t ) 的形 
式可见，它等于各分量特征函数的 乘积： 


n 


代⑷= n 代爪) 


fc — 1 


所以，由 §12 的定理 4 知，分量 6, …石独立， 

由于由独立性总是可以得出不相关性,故逆命题显然成立. 

b ) 如果€ = ( 匕,…，匕）是高斯向量，则对于 t e 1 M 见⑸式) 




exp{^(Ai^i + …+ An ^ n )} 


exp 




从而 


( 《， A) 〜 N(^2 r ki^kM)^ 

相反，随机变量 KA ) = Ar 6 + ... + A n ^ n 服从高斯分布,则特别 

由于 A : ，…， A „ 的任意性，可见《=(6,…，仏）是高斯向童（见定义 1) 

注设（0，0是髙斯向量，其中沒=(&，‘•• A ),$ = (6, …，纪.如果向量0和 
《不相关，即 cov (^,^) = 0 ,i = !,••.= 则它们就独立. 

证明方法与定理1的命题 a ) 相同. 

设《= ( 匕,…，60是高斯向量,为简便计，假设其均值向量为 0. 如果 rangH = 
r < n ， 则由§11可见，在变量6,…，匕之间存在恰好 

可以认为6,…，^线性无关,而其余一切变量都可以通过它们线性表示.因此向量 

( = Kir -,^ n ) 的所有基本性质都决定于前 r 个分量 （6, …，^).而且它的协方差 

矩阵已经是退化的. 

这样，可以认为原向量的分量己经是线性无关的，因而 | fi | > 0 . 

设 Z 是把 K 变为对角矩阵的正交 矩阵： 




A fc A ； cov(4,^) 


=exp 


□ 


个线性关系.这时，例如 


n — r 


z t rz ^ d 


如第 3 小节所指出的，矩阵的所有对角元素都是正数，从而有逆矩阵.记 S 2 = D ， 


且设 


(5 = B^ l Zi 
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§13 


那么，容易证明 


Ee i{tj0) = Ee 砂 Tt = e ^~^ {Etyt \ 


即向量 /3 = Wu …， M 是具有不相关分量的高斯向量，从而根据定理 1 是具有独 
立分量的高斯向量，若记4 = ZB, 则原高斯向量€ = (6, …， U 可以表示为 




( 12 ) 


其中/3 = ( A , …， M 是具有独立分量的高斯向量，且汍 〜 JV ( o ， i ). 由此得如下结 
果:设$ =(心,… ，6 x ) 是具有线性不相关分量的向量 ， — 0 ,k = 1, 

量是髙斯向量的充分和必要条件是，存在独立高斯变量 

A ， …， Ai ， A ： 〜 卵， 1), 和 

阶非退化矩阵使$ = A /3 .这时 H = AA t 是向量《的协方差矩阵. 

如果丑一 0,则根据克拉默-施密特正交化方法（见§11)，有 


则此向 


， n ， 


» » * 


n 


《fc = & + & 二 1， 


(13) 


， n ， 


其中由于髙斯性，向量 £=(〜_.■ ,£ n )^ N (0, E ), 


fc-i 




(14) 


h = Uk 一 &11， 


(15) 


且 


又 {《1， …， 0 t } = 又{^1， …， q } 


(16) 


由正交展开式 (13), 立即得 


Cfc = E (匕 i ，… O 

鉴于 （16) 和 （14) 式， 由此可见对于高斯变量，条件数学期望 E 1 4 
6,… ， a - i 的线性函数： 


(17) 


，6)是 


— 1， 


fc — 1 


， fl ) = > : 

i=l 


E (4 I ^ i , 


(18) 


(对于 A : = 2 的情形，在 §8 曾得到该结果 .） 

由于根据§8中对定理1的注知， E (4 fe - i , •• - , Ci ) (均方意义上）是由 L …, 
对心的最优估计量，则由 （18) 式可见，对于高斯分布，最优估计童是线性的. 
对于 (9,$) 是髙斯向量的情形,我们利用以上的结果由向量(6,…，匕)，来 
求向量6> =(心， …， I )的最优估计.记 


ms = E 0 ， = E 汔 
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为均值列向量,而 


^>09 = coy( 0 , 6 ) = (cov (久為))， 1 ^ ij < k, 

D 托三 cov (设，《）三 （ cov ( Kj ))， 

D 技三 cov («) 三 （ cov (《 i ， 心 ）），1 彡 i ， j ‘彡 /， 


是协方差矩阵.假设矩阵有逆矩阵.那么，下列定理成立（对照§8定理 2.) 

定理2 (正态相关性定理，向量情形）对于正态随机向量（0，幻，由$对向量 

0 的最优估计量 E (( 9 | 0 ? 及其误差矩阵 


△ = E [0- E (0| OHE (_] T ， 


分别由下面的公式给出 


E ( 沒 |《） = m e + D 舛 D& 1 ( 《 - m e )， 

D ^ D -' DT . 


( 19 ) 


A = D 卵 


( 20 ) 




证明记向量 


»7 = (0 — mg ) — D 代 D & 1 (芒一 m () 

那么，可以直接验证 Et /(^ — m$) T = 0,即向量 T / 与向量《 - 不相关.由于向量 
(9,^) 的高斯性，则 ( v ^) 也是高斯向量.由此以及定理1的注，知向量与芒 
独立.因此，向量 r ? 与$独立，从而 E ( t 7|^) 


( 21 ) 


mi 


€ 




r ? = 0 •所以 


- me\i\ - D 时 一 m 在 ) = 0, 


于是，公式 （19) 得证. 

为证明 （20) 式，考虑条件协方差 


cov{0,e\i) = E{[0 - E ( 沒 |0][0 - E(^|0] T |^} 

由 （ I 9 ) 和（ 2 1)式可见0 — E (6>|0 = T 7, 故由 r ? 与 C 独立,可见 


( 22 ) 


cov(0,0\^) = E( 7 / 7 / t |^) = Btjtj 

= D 00 + D^D^D €€ D^D^ - 2D^D^ 1 D^D €C 1 DT 

因为 covWWIO 与“偶然性”无关，所以 


T 


A = E cov(0, 0\^) — cov(0, 0 |《)， 


于是， （20) 式得证. 


□ 


系 
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系设 （沒 / i ， …， < U ) 是 n +1 维高斯向量，而且6,…，匕独立，那么， 


_6 ，… ，… 


⑷一 E &)， 


2 


(O^i) 


COV 


E 

z=X 


A = D^- 




(对照 § 8 公式 （1 2 )，(13))_ 

离斯向量的线性流形的封闭性设心，心，…是依概率收敛于向量 < 的髙斯 
随机向量序列.现在证明向量$仍然服从高斯分布. 

由于定理1的命题 a ), 只需对随机变量证明这一事实. 

^1= D 心那么，根据勒贝格控制收敛定理，有 




设 


m 


itm 


lim = Ee 坻 


lim e 


由于左侧极限的存在性，可见存在 m n 和 g ， 使 


2 


2 


lim m n , = lim a 


771 = 


从而， 


itm— ^a 2 t 2 


Ee 埘 = 


e 


P ^ ~ N ( m y a 2 ) 


特别，由此可见，由髙斯随机变量6, 6, …生成的封闭线性流形歹(6，&，…) 

(见§11第5小节)，仍然由高斯随机变量生成. 


—般高 斯系及其性质现在，讨论一般高斯系的定义. 

定义 2 设11是某 一 下标的集合.随机变量《 = { Ca }» CK G il 的全体称 为高斯 

系，如果对于任意 a !,-. - , a n 6 il , n ^ l , 随机向童（心，…，匕 J 是髙斯向量. 

现在指出髙斯系的一些性质. 

a ) 如果$ = { U,a € U 是高斯系，则任意 f = {^}, a 7 e it ' C il 子系也是髙斯 


* 


系 


b ) 如果 ^, a€il 是独立高斯变量，则 € = U a },aGiX 是高斯系. 

C ) 如果 e = {^ ohaGii 是髙斯系，则包含由形如 Etl %心的变量及其均方 
极限的闭线性流形 ^(0 是髙斯系. 

注意，性质 a ) 的逆命题一般不成立.例如，假设&和仍独立, 且&〜 #(0,1)， 

iv ( 0 ， l ). 定义系统如下 


m 


(6, Wil )， 若> 0， 

(心， - Iml )， 若 6<0. 

那么，不难验证《和7?中每一个都是高斯变量，然而 ( e ,7?) 却不是髙斯向量 


{ Cv ) = 


( 23 ) 
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{ m a }^a G il , 而协方差 

e E 匕.“矩阵”丑显然是对称的 （ r a/3 = r 0a ), 并 


设 C = Ua }, aeii 是高斯系，其均值“向量”为 
“ 矩阵” 为只，其中 

在如下意义上是非负定的：对于任意在 R U 取值的 “ 向量” C = { c a } tte iX ， 只有 有限个 
坐标 c a 不为0， 


m a 


(iic, c)=Y^ 


(24) 


r a ^a^(3 > 0 


a ，/3 


现在提出反问题.假设给定一参数的集合 il = { a }, “向量 


{ m a } a€iX 和对 

称非负定“矩阵”丑=问是否存在概率空间 （ Q ，，， P ) 和空间上的高斯 
随机变量系《={匕}，^^认使 


55 


m = 


E《 a = m a ， 

cov (《 a ， 幼）= r a/3 , a , /3 G il ? 

如果取有限组 ai ,--- 则根据向量 M = ( m ai , 

e R ' 可以建立高斯分布 F ai 


， m an ) 和矩阵瓦 = ( r a 0)^(3 eiiy 
( A ，… ， x n )， 使其特征函数为 


叫， … 1 <^n 




yOtri 


* ♦ 晷 


) ^ Otn ) 


不难验证，分布族 


是一致的.从而，根据柯尔莫戈洛夫定理 （§9 定理1及其注 2) 对于上面所提问题的 
答案是肯定的. 

7. 高斯随机序列和高斯过程 假如11= {1,2,.. }, 则按§5所采用的术语，随 

机变童系$ = {《 a },a € 11称做随机序列，并记作《= Ki ,&,-.)• 高斯序列之= 
(&，&，■••)完全由均值向量 

covK ) 描绘.特别，如果％ = a 2 %， 则《=(匕,《2,…）是独立随机变量的髙斯序 
列，其中&〜 N ( mi ,( rf),i ^ 1. 

对于 U = [0, 1], [0, oo )，(- oo , oo ), …的情形，随机变量系 f 称做连 

续时间随机过程. 

现在举 几个高 斯随机过程的例子.假如认为其均值为0,则这样过程的概率性质 
完全决定于其协方差 矩阵只 = ( r st ), s,teii 的形式.我们用 r ( s t t ) 表示 r st , 并称此 
s 和 t 函数为 协方差 函数. 

例 1如果 U = [0, oo ), 而 


(7^1,7712, • • *) 和协方差矩阵 Jl = ( r *i ) ,其中 Tij 


m 






r ( s , t ) = min (5, 亡）， 


(25) 


则以 r ( S , t ) 为协方差函数（见练习题 2), 且 S 0 三0的高斯过程 S 称做布 

朗运动过程或维纳过程. 
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注意，该过程具 有独立增量， 即对于任意 h < t 2 < — < t n 随机变量 


Bt 2 — B tl B t 


— B 


^ n — 1 


n 


是独立的.事实上，由于高斯性只需验证它们两两不相关.实际上，若 s < t < w < % 


则 


E(B t - B S )(B V - B u ) 

= [r(£, v) — r(i,u)] — [r(s,v) — r(s,u)] 

= {t — t) 一 （5 — 5) = 0. 


注 §9 第 4 小节考虑的更新过程的例子（是根据独立随机变量序列 
的构造性给出的)，使得可能类似地建立某种类型的布朗运动的想法产生了. 

以独立同分布的标准高斯随机变量序列6,6,为基础，其中&〜 iV (0， l ), 来 
构造布朗运动的情形确实存在. 

例如,构造随机变量 




Me 




sin((n + l/2)7rt), t e [0,1] 


(26) 


J n + 1/2 

由下面将给出的“两级数”定理（第四章§3定理 2), 可见对于每一个£ € [0,1], 
定义执的级数 （P - a . c .) 收敛.进一步更细致地讨论表明，此级数 （P - ax .) —致 

收敛，从而过程 S = (^ o ^^ P - a . c .) 有连续轨道.该过程的正态性，由定理1的 
b ) 和第5小节中关于“髙斯随机变量依概率收敛的极限,仍然服从高斯 分布” 的论 

断可以证明.同样不难证明，协方差函数为 r ( 5 , t )=- EB a B t - min ( s , t ). 

这样，在 ㈤ ）式中建立的过程5 = ( B t ) 0 ^ w 满足布朗运动过程定义中的所有 
要求，此外该过程 （P - a . c .) 有连续轨道.通常，（物理应用所希望的和得到证实的) 
轨道的连续性，包含在布朗运动的定义之中.我们看到，这样的过程确实存在. 

我们再指出一个建立布朗运动过程的熟知方法，它基于在§11第5小节中引进 

的哈尔函数 H n (x),x € [0,1], n = 1,2,… 

由哈尔函数 i / n ⑻建立绍德尔 （ A . Schauder ) 函数& ⑴， t e [0, l],n = 1，2,…， 


ri 二 


S n (t) = / H n (x)dx 


(27) 


0 


那么，如果心，6/2,…是独立同标准高斯分布随机变量序列，其中 7 V (0，1)， 贝！) 
级数对于 tG [0，1]， 


Bt = ^ jn S n (0 


( 28 ) 


Tl=l 


以概率 1 一致收敛.过程5 = ( B t ) 0 ^ w 是布朗运动 
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例2 过程丑 0 =(巧 0 )，亡£11=[0，1]，53三0和 


r ( s , t ) = min (5, t ) — st . 


(29) 


称做条件维纳过程或布朗桥 （注意，由于 r ( l ，1) = 0,故 P {5? =0} = 1) 

例3过程义=(&)，《£11=(—00,00)和 


一 \t 一 S 


r ( s , t ) = 


(30) 


e 


称做高斯-马尔可夫过程. 

布朗运动的一个简单例子 我们介绍一个布朗运动的有趣性质，其证明是 
§10中博雷尔-坎泰利引理应用的很好的演示（确切地说该引理的系 1). 

设 S = (B t ) t>0 是标准布朗运动.那么，对于任意 T >0, 依概率1 


: 




定理 


2 rt T 


lim 


2 


一 ^( fe - l )2~ n . 


(31) 


= T 


k 2 - 


n 


k=l 


证明不失普遍性，可以认为 T = 1.设 


n 


2 


A n = : 


] 2 — 1 彡 


— B 


£ 


k 2 一 


( fc —1)2 — 


TX 


n 


k—l 


由于 B 


B { k _ 1)2 - r , 是高斯随机变量，且均值为0,而方差等于 2-' 可见 


fc 2 -^ — 


n 


2 




] 2 =2 


_ H+ 1 


(fc — 1)2 — 


n 


k=l 


因此，由切比雪夫不等式，有 P(A e n ) < £- 2 2 - n+1 . 从而 


E p (.< e _2 E 2 

n—1 n— 1 

于是，由此估计式和博雷尔-坎泰利引理的系1 (§10)，得所要求的关系式 （31) 

9. 练习题 

1. 设6,6,6是独立髙斯随机变量，&〜 AT ( o , i ). 证明 

^1 + ^ 2^3 

\/丄+这 

(由此产生了对于有趣的研究 课题: 描绘独立高斯随机变量6,…， 4 n 的 非线性 变换， 
使变换的结果仍然是高斯随机变量 .） 

2. 证明，由 （ 25 )，( 29 ) 和 （ 3 0) 各式的函数给出的“矩阵 ，，丑 = ( r ( M)) a 
是非负定的. 


—n+1 


2 


(32) 


= < oo 


□ 


聊， 1) 


tGlX 
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阶矩阵.称为4的 


阶伪逆矩阵，如果存在矩阵 U 


3•设4是 


m x n 


n x m 


和 F ，使 


AA®A = A , A ® = UA t = A t V 


证明，由这些条件决定的矩阵 A ® 存在而且唯一. 

4. 证明在正态相关定理的公式 （19) 和 （20) 中，对于 D & 是退化矩阵的情形，如 

果在这些公式中用伪逆矩阵 Dg 代替 Df / ,则正态相关定理仍然成立. 

，纪是具有非退化矩阵△三 D 卵- D ® Dj e 的 

, e k ^ a k \^}( P ~^) 有密度 


5.设（沒，0 = ( 沒1， 

髙斯向量.证明分布函数 P {0 K a \^} = P {^1 ^ 

_ 

p { ai ， … ， a fc R }， 且 


，汐 A ： ;《1，’ 


ai ， 


- 1/2 


|A 




p { ai ， …，似|(} = 


exp 




(27r) fc / 

6. ( C . H . 伯恩斯坦）设 $ 和 r ? 是具有有限方差的独立同分布随机变量.证明，如 
果€ + 7?和€ - r ? 独立，则€和是高斯随机变量. 

7 ，默瑟 （ J . Mercer ) 定理 * 假设 r ( s ， i ) 是 [ a , b ] x [ a ，6](— oo < a < b < oo) 上连续 

的协方差函数.证明，对于无限多个八 > 0,方程 


2 


2 


r ( s ^ t ) u ( t)dt = u ( s)^a < 5 < 6, 


A 


a 


相应的连续解 { u k , k ^ l } 的解系，构成 L ^{ a , b ) 中的完全规范正交系，使 


Uk { s ) u k ( t ) 


( m ) = ^2 


V 


Xk 


fc=l 


其中级数在 [a，&] x 上绝对收敛且一致收敛 


8 •设 X = { X u t ^ 0} 是髙斯过程，其中 E 不= 0,而协方差函数 r ( s y t ) = 

亡 >0* 设 0< h 〈… 〈亡…而/心，…，‘(❾，… ， x n ) 是随机变量石” 




， x t 


e 


，心 


的密度.证明 


- 1/2 


( x lr - , x n ) = \ ( 2n ) n Yl(l 


2(ti_i — 


ti )) 


ft u 


— e 






i =2 


71 


1 — 02(ti-i —ti) 


2 


2 


— 


^ i - l ) 




e 


E 


x exp 


2 2 


i =2 


9 ■设 / = {fn，n > 1} C i 2 (0， l ) 是完备规范正交系，而 {^} 是独立同分布 

#(0,1) 随机变量.证明过程 




fn(u)du 
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是布朗运动 . 

10. 证明当 (h 

学期望 ,r/„) 

11 . 设 (h …， m) 是髙斯系,说明条件数学期望 E(Oi ，… ,r/fc),n ^ 1 (作为 

• 的函数）的构造 . 

■ 

12. 设 X = 和 y = (n)i^n 是两个髙斯随机序列，且 EXk = 

_ 

EKfc, DXfe = DFfc, 1 < k ( n ， 而 


，Vn) 高斯系时，条件数学期望 .Vn ) 等于广义数 


cov{X kl Xt) ^ cov(Y k ,Yi) r l $k，l ( 


n. 


证明斯茱皮恩 （ P. Slepian) 不等式： 对于任意 x G R, 


P i sup X k < x} < P ^ sup Y k < x 

13. 证明，如果 B 。 = 是布朗桥，则过程 B = (B t ) i>0 是布朗运动，其 

中 B t = (1 + t)B 

14. 对于布朗运动 B = (B t ) t>0 , 验证下列过程也是布朗运动 

B[ X) = -B t ; 

Bi 2) B 

= B t+ 

B\ A) -B t - Bt-uO ^t^T,T>0; 

— ~B a 2 U a > 0 ( 自模态性 ). 

a 

15 • 设尤 = (Xkh 辦 n 是高斯随机序列，且 


l ^ fc^n 




( 2 ) 


= 0； 


0 


—B s ，s > 0; 


2 


max EX *：， 


=max T>X k , 

l ^ fc^n 


m = 


a 


而对于某个 


a ， 


P 


sup (X k - EX fc ) ^ a ^ - 

l ^ k^n 」 I 


那么，博雷 尔不等 式成立 


x — m — a 


P < sup X k > 


彡 2 屮 


x 


a 


其中 






dy 


e 


16 •设 (X,Y) 是二维髙斯随机变童 , EX = Er = 0 , EX 2 > o ， Ey 2 > 0 ,其相关 


系数为 


EXY 

EX 2 Ey 2 


p = 



§13. 高斯系 


335 . 


证明 


P{XY < 0 } 二 1 — 2P{X > 0,F > 0} 二 7T _1 arccos p . 

17. 设 Z = XY , 其中 X 〜 7 V (0, l ), 且 P{Y = 1} = P{r = -1} = 1/2. 求随机 

向量 （ X , Z ) 和 （ y , Z ) 的分布，以及 X + Z 的分布,证明， Z 〜 N {0, 1), 且 X 和 Z 不 
相关，但是不独立. 

18. 详细证明，由 (26),(28) 式定义的过程 ( B t ) 0< t 4： i 是布朗运动. 

19. 设別= ( B t + fit ) t ^ 0 是带漂移 的布朗运动. 

(a) 求变量邱+ <i 2 , 的 分布； 

( b ) 对于 t 0 < h < t 2 , ^ 邱和 EB ^ 0 . 

20. 对于上题的过程对于 h 和 h > t 2 , 求条件 分布： 


P{Sf 2 e • 哎 }; 


对于 < ti < t 2 , 求条件分布: 
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§1概率测度和分布的弱收敛 (339) 


1. 概述 (339) 

2. 伯努利概型中的收敛性 (339) 

3. 弱收敛和基本收敛 (341) 

4. 数轴 ( R ,^( K )) (344) 

5. 定义收敛类 (345) 

6. 练习题 (346) 


概率分布族的相对紧性和稠密性 (348) 


1. 关于分布函数类的列紧性问题 (348) 

2. 分布函数类的相对列紧性和完备性 (349) 

3. 概率测度族列紧性的条件 (349) 

4. 练习题 (352) 


极限定理证明的特征函数法 (352) 

1. 历史情况概述 (352) 

2. 分布函数与特征函数对应的连续性 (353) 

3. 极限定理证明的特征函数方法 (356) 

4. 练习题 (358) 
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§4独立随机变量之和的中心极限定理 L 林德伯格条件 (359) 


L 林德伯格条件 (359) 

2. 林德伯格条件的某些特殊形式 (362) 

3. 系列形式下的林德伯格条件 (363) 

4. 林德伯格条件的必要性 (364) 

5. 练习题 (366) 


独立随机变量之和的中心极限定理 II . 非经典条件 (368) 


L 在非经典条件下中心极限定理的例 (368) 

2. “非经典”条件与林德伯格条件的联系 (369) 

3. 练习题 (372) 


§6无限可分分布和稳定分布 (373) 


1. 在非经典条件下中心极限定理的例 (373) 

2. 随机变量无限可分的充分和必要条件 (375) 

3. 稳定随机变量 (376) 

4. 稳定分布特征函数的一般形式 (379) 

5. 练习题 (380) 


弱收敛的“可度量性” (381) 


7 


1. 关于弱收敛的可度量性 (381) 

2. 列维-普罗霍罗夫度量 L ( P , P ) (381) 

3. 度量 \\ P - Pr BL (384) 

4. 练习题 (385) 


关于测度的弱收敛与随机元的几乎处处收敛的联系（“一个概率空间的 

方法”） (385) 


m 


1. 随机元收敛性的定义 (385) 

I 

2. 按分布相等的随机元 (386) 

3. 一个概率空向方法的应用 (388) 

4 . 完成§ 7 中 (13) k 的证明 (389) 

5. 列维-普罗霍罗夫度量值的上估计 (390) 

6. 练习题 (391) 
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概率测度之间的变差距离. 角谷- 海林格距离和海林格分.对测度的绝对连 

续性和奇异性的应用 (391) 


1. 概率测度间的变差距离 (391) 

2. 测度间的角谷-海林格距离 (394) 

3. 海林格积分对测度的绝对连续性和奇异性的应用 (398) 

4. 练习题 (400) 


§10概率测度的临近性和完全渐近可区分性 (400) 

1. 概率测度的临近性和完全渐近可区分性的概念 (400) 

2. 无限稠密随机变量序列的情形 (401) 

3. 独立观测概型 (404) 

4_练习题 (405) 


§11 中心极限定理的收敛速度 (405) 

1. 中心极限定理中收敛速度的估计 (405) 

2-练习题 (408) 


§12泊松定理的收敛速度 (409) 

1. 泊松定理中收敛速度的估计 (409) 

2. 估计式 （6) 的证明 (410) 

3. 练习题 (411) 


§13 数理统计的基本定理 (411) 

1. 数理统计与概率论的关系 (411) 

2. 分布函数与经验分布函数的拟合定理 (411) 

3. 经验分布函数对分布函数的偏差 D n {uj) 和 TV 与 F(x) 无关 (413) 

4. 统计量和 Di ( u ;) 的极限分布 (414) 

5. 柯尔莫戈洛夫分布 (418) 

6. 试验与实际的一致性准则 (419) 

7. 练习题 (420) 
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对于概率论教程形式上的结构，极限定理是概率论初等章节的一种上层建筑，其 
中所有问题都具有最终的、纯算术的特点.不过，概率论认识的价值，实际上只有通 
过板限定理才揭示出来.何况，没有极限定理就无法理解我们的全部学科一一概率 

论有关概念的真实内容. 


B. B. 格涅坚科, A. H. 柯尔莫戈洛夫. 
《独立随机变量之和的极限分布》丨 16 ] 


§1. 概率测度和分布的弱收敛 


1. 概述概率论许多结果都具 有极限定理的 形式.以极限定理的形式，建立了 

J. 伯努利大数定律和棣莫弗-拉普拉斯定理，可以说,从而奠定了真正概率论的基 
础，特别是指出了众多研究的方向，说明了不同形式的“大数定律”和“中心极限定 
理”成立的条件.以极限定理的形式还创立了，“在稀有事件情形下，用‘泊松分布，逼 
近二项分布的”泊松定理.在这些定理的例子中，以及在有关棣莫弗-拉普拉斯定 
理和泊松定理的收敛速度的结果中，已经可以看到，在概率论中必然涉及分布的不 
同形式 • 而说 明收敛速度, 需要引进分布之间各种接近程度的“ 自然” 度量， 

在这一章将讨论概率分布的收敛性，及其接 近程度 的某些一般性问题.这一节 
讨论度量空间中 概率测度弱收 敛的一般理论问题.（特别，伯努利大数定律和棣莫 
弗-拉普拉斯定理——“中心极限定理”的“始祖”，正是属于这一范围 .） 从§3 
开始就可以清楚地看到特征函数方法，是证明 IT 中概率分布弱收敛的极限定理最 
强有力的工具之一.在§ 7 中将讨论弱收敛的“可度量化”问题.在§9中将讨论分布 
另一种形式的收敛性： 按变差收敛 （一种比弱收敛更强的收敛).在中心极限定理和 
泊松定理中，收敛速度最简单结果的证明将在§11和§12中给出.在§13中将§1和 

§2中关于弱收敛的结果用于某些（原则上重要的）数理统计问题. 


伯努利概型中的收敛性 作为开始, 我们 回忆伯 努利概型中大数定律 的提法 




(第一章 §5) 


设 6,么，… 是独立同分布随机变量序列 ，且 P {^ = 1} = a Pfe = 0} 

g = L 利用第二章 §10 中引进的依概率收敛的概念 , J_ 伯努利大数定律可以表述为 : 






Sn 


⑴ 


P ， 


其中& =心+…+匕.（在第四章将证明，这里实际上也依概率1收敛 .) 
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记 


S n 


F n ( x ) — 


1 ，若 x > p ， 
0， 若 x < p ， 


F(x)= 


⑵ 


其中 F ( x ) 是退化随机变量€三 p 的分布函数.设 P n 和 P 是空间 ( M ,^( E )) 上对 
应于分布函数凡和 f 的概率测度. 

根据第二章§10定理2,依概率收敛 SJn i p 必导致按分布收敛 S n /n 4 

而由按分布收敛可见，对于 R 上的有界连续函数类 C 中的任何函数/ = fix ), W 


P ， 


S n 


mp) 


(3) 


由于 


S n 


( f { x ) P { dx ), 
Ju 


f ( x ) P n ( dx ), E /( p )= 


则由 （3) 式，可以将其写为 


f ( x ) P n ( dx ) 


f ( x ) P ( dx ), feC , 


⑷ 


或（根据第二章 §6 的记号）将其写为 


f ( x ) dF n ( x ) 


f ( x ) dF ( x ), fee 


⑹ 


在数学分析中，收敛性⑷称做（当 


时测度向测度 P 的）弱收敛，记 
WPn^P (对照定义2)，自然，收敛性 （5) 亦称做分布函数 F n 向 F 的弱收敛，记 


n — ^ oo 


作凡 AF . 

这样，在伯努利概型中，可以断定 


S n 


p^F n ^F, 


⑹ 


这样，由⑴式亦不难导出，对于由 （2) 式引进的分布函数，对于除函数 F ( x ) 的 
一个间断点 x = p 之外的所有点 xeR,W 


F n ( x ) F ( x ), 


这一事实说明，对于所有点 xemr ^ 


时弱收敛 F n ' F 并不会导致函 

数凡⑷向 F ( x ) 的逐点收敛.不过，结果表明，无论是伯努利概型，还是任意分布 
函数的一般情形，弱收敛等价于下面定义的所谓基本收敛（见下面定理2)， 


71 — 00 
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定义1 称定义在数轴上的分布函数序列 { F n }, 基本收敛于分布函数 F (记作 

如果当 


时， 


n — oo 


F n (x) F(x), 


eC ( F ), 


其中 C(F) 是极限函数 F 的连续点的 集合. 

对于所考虑的伯努利概型，函数 T = F(x) 是退化的,而由此不难导出（参见第 
二章§10练习题 7): 


S n 


P 


(F n 


P 


这样，考虑到下面的定理2,有 


S n 


P 


分 (F n F) => 


⑺ 


P ， 


因而大数定律的论断,可以视为由 （2) 式定义的 关于分布函数弱收敛 的论点之一. 


记 


S n — np 
y/npq 


F ri (x) = P 




⑻ 


—昝叙 


F(x )= 


V2t: J- 

根据棣莫弗-拉普拉斯定理（第一章§6)，对于一切 a : e m , F n ( x ) -> Fix ), 从而 
F n ^ F . 由于上面指出的弱收敛 F n ^ F 与基本收敛 F n ^ F 等价性，则可以认为 

棣莫弗-拉普拉斯定理，也是关于 （8) 式定义的 分布函数的弱 收敛的论断. 

这两个例子证实下面定义2引进的概率测度弱收敛概念的合理性.虽然对于数 

轴的情形，弱收敛与分布函数的基本收敛等价，不过作为开始还是倾向于考虑弱收 
敛： 第一，因为弱收敛更便于 分析； 第二，因为弱收敛对于比数轴更一般的空间也有 
意义,特别，对于度量空间,最重要的例子是空间 R ' K ' C 和 Z > (见第二章 §3). 

弱收敢 和基本 收敛设 ( E ^, p ) 是度量空间 ， p = p ( x , y ) 为度量, < T 为由开 
集生成的 <7-代数，而 P , Pi , P 2 , 是空间 ( E , p ) 上的概率测度. 

定义 2 称概率测度序列 { P „} 弱收敛于概率测度 P (记作 P w A P ， 其中 

是英文词 weak convergence (弱收敛）的字头)，如果对于雾上的连续有界函数类 
C (^) 中的任意函数/ = /( x ), 有 


令 


W 


f(x)P n (dx) 


f(x)P(dx) 


⑼ 


E 


定义 3 称概率测度序列 { P n } 基本收 敛于概率测度 p (记作 p n 冷 p ), 如果 

_ 

P n (A)^P(A) 


(10) 
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其中 A e 豕是任意集合，满足 


P ( dA ) = 0, 


( 11 ) 


WdA 表示集合4的 边界: 


dA = [yll n [ A ] ， 


其中表示集合 A 的闭包. 

下面的定理表明，概率测度弱收敛的概念与概率测度基本收敛的概念等价，以 
及其他等价的提法. 

定理1下列各命题等价： 

a) p n ^ p ； 

(I) 对于闭集 A , MiP n ( A ) ^ P ( A )- 

(瓜）对于开集 A,limP n (A) ^ P(A )； 

(IV) P n 4 P. 

证明（1> 4(1) •设乂是闭集，记 


p { x , A ) 


Ia ( x ) = 1 


其中 


p ( x , A ) = inf { p ( x , y ) : y G A }, [ x ] + = max [0, x 


再记 


A € = {x : p ( x , A ) < £：}, 


并注意到当 eiO 时，丄儿 

由于函数 r A ( x ) 有界、连续并且满足 


PnM ) = / / J 4 ( x ) P n ( dx ) ^ / f %( x ) P n ( dx ), 


则当 £{ 0 ^ 


limP n (^) ^ lim / f %( x ) P n ( dx ) 


f %( x ) P ( dx ) < P (^) I P ( A ), 


因此 （ I ) > ( I ) 得证， 

如果由集合转换为其相应的补集，则蕴涵关系 （ I) 4 (m) 和 （ m) 4 (I) 显然. 

( n ) ^ ( IV ).设= A \ dA 是集合4的内部，而⑷是集合4的闭包.由于 
⑻和 （ HI ) 以及假设 P (6 U ) = 0,则 


\ imP n ( A ) ^ limP n ([^]) ^ P n ⑽卜 P ⑷， 

limPn ( A ) ^ limP n ( A °) ^ P (^°) = P ⑷， 
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因此对于每个 A 若 P (£ L 4) = 0,则 P n ⑷— P 0). 

( IV ) 4 ( I ).设/ = f ( x ) 是连续有界函数， |/( X )| < M , 记 


D = {t ^ R : P{x : f ( x ) = 亡} 一 0}; 

考虑区间 [-M ， M] 的分割 A = ，…， 4): 


—Af — to < t\ < • " < tk = ^ 1, 


其中 匕矣 iv = o , i ， …， a ：. (注意，由于集合 rnt } 两两不相交，而测度 p 有限，故 

集合乃 有限或可数 .） 

设玖 ={X 4 < / ㈤ < t l + l }, 由于函数/⑷连续，可见 f -^ UM + i ) 是开集, 


点 U , t i+1 i D y 因此 P ( dBi )= 0 , 故由（ IV )，有 


k -1 


fc — 1 


AP n(Bi) — ^ 


( 12 ) 


i =-0 


i=0 


由于 


fc-1 


f /( x ) P n ( dx ) - [ f ( x ) P ( dx ) ^ f 

Je J e J e 


f ( x ) P n ( dx ) - ^2 tiP n ( Bi ) 


i^O 


k — 1 


h — 1 


k — 1 


(风） — Eqp (氏) + EtP (氏） -/ /( x ) P ( dx ) 


E 


i^O 


i^O 


^=0 


k-l 


k —1 


(t i+ i - ti) + ， 


^ 2 max 


i =0 


i^=Q 


而由 （12) 式及分割 T k (k ^ 1) 的任意性，可见 


f f(x)P(dx) 

Je 

注 1 证明中出现的函数 /(X) = 0(2；) 和 f%(x) 的蕴涵关系（ I )冷（ I ),相应为 

上半连续性和一致连续性. 注意到这种情况就不难证明，定理的每一个条件，与下列 

条件之一 等价： 

( V )对于一切有界一致连续函数 f ( x )， 有 

{ f(x)P n (dx) ^ / 

JE J E 

( VT ) 对于一切满足利普希茨 （ R . Lipschitz ) 条件（见§7引理 2) 的有界函数/⑷， 


lim / /( x ) P n ( dx ) = 




n 


E 


f ( x ) P ( dx ); 


有 


f f { x ) p n ( dx ) ^ f 

Je Je 


/( x ) P ( dx ); 
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( VII )对于一切有界的上半连续函数 /( x )( lim n /( x n ) 彡/( X )，当 : r n 


时)，有 


—X 


lim / f ( x ) P n ( dx ) ^ / f ( x ) P ( dx )] 


( vm ) 对于一切有界的下半连续函数 /(： r )( iini n /( x n ) 彡/⑷，当 a： n 


时)，有 


— > X 


iim / /(x)P n (da:) ^ / /(x)P(dx) 


注2定理1可以推广到如下 情形： 将空间 { E , P) 上的概率测度 P n 和 P ， 

换成任意有 限测度 Mn 和 A (未必是概率测度).对于这样的测度，类似地引进弱收敛 

M 的概念和基本收敛 fi n 泠0 的概念，并且像定理1 一 样证明下列条件的等 


l^n 


价性: 


a *) ^ 

( r ) 对于闭集 且 〜( 五） — ME 1 ); 

(皿*)对于开集 AMm ^( A ) 彡 / i 04), 且 } i n ( E ) — 




(IV*) " n # 

如果将条件（ V )〜（ VIII )中的 P „ 和 P , 相应地换成;^和/ X ,则（ V *)〜 （ VDT ) 

中的每一个条件,都等价于（ I *) 〜 （ iv *) 中的任何一个条件. 

( R , 居 ( M )) 设 （ R , 方 ( M )) 是数轴,其中 K 是实数轴，而 ^( M ) 是由欧 

几里得度量 p( ： r ， y) = |；r - y| 生成的博雷尔 cr- 代数（见第二章 §2 第 2 小节注 2) .记 
P n (n 彡 1) 和 P 是 （ R ， 义 ( R )) 上的概率测度，而 F n (n 彡 1) 和 F 是相应八和 P 的 
分布函数.那么，有下面的定理. 

下列各条件 等价： 


IMS 


4. 


定理 


⑴/ > n ， 

(2) P n ^ P ; 

(3) F , 

(4) F n ^F 


F ; 


证明由于⑵杉⑴分⑻，可见只需证明 （2) 分 （4), 

如果=> />，则（特别）对于所有 x e R ( P { x } = 0), 有 


Pni ^ OO . x ] ^ P (™ CX ), X 


这说明 Fn ^ F . 

现在设4 为证明收敛性 4 p , (由于定理 1) 只需证明对于任意开集 

义，有 Mm / n ⑷&尸⑷. 

假如义是开集,那么存在可数个（形如 K &) 的）两两不相交开区间/ 2 ,…，使 

固定£ > 0,在每一个区间4 = ( a k , b k ) 中选择一子区间％ = ( a f kJ b f k l 


A = 
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使 aW C ( F ), 和 P ( I k ) ^ P ( I f k )^ e 2 - k . (由于函数 F = F ( x ) 的间断点的个数有 

限或可数,这样的区间 1) 确实存在 .） 那么，根据法图引理，有 

oo oo oo 

]mPn ( A) = lim^P n (4) > ^lim^n^fc) > 

n n k=^l k=l n fc=l n 


然而，由于 


Pnd F n 队） — F n {a f k ) ^ F(b f k ) - F(4) = F(4), 


因此 


\jmPn(A) > P(I f k ) ^ 幻 P(4) - e2_ fc ] = P(A) 

71 fe-i fe-i 

因为 e > 0 的任意性,所以就证明了“若 A 是开集，则 lim n P n ( A ) > P(A)\ 

定义收敛类设 ( E ^) 是可测空间.子集系 ^ o ( E ) C ^称做定义类，如果 
对于空间 ( E ^) 上的任意两个概率测度 P 和 Q ， 由等式 




□ 


« 


P(A) - Q(A) } 对于一切 A € S^ 0 (E) 


可见测度 P 和 Q 等同，即 


P(A) = Q(A), 对于一切 

假如 ( E y ^, p ) 是度量空间，那么子集系 3^ X ( E ) C g 7 称做 定义收 敛类，如果是 

任意测度 P , Pi , P 2 , ,则由 

P n (A)^P(A), 对于一切 Ae^i(E) ^ P(dA) = 0 


得出 


P n (A)^P(A), 对于一切裏，且 P (化 4) = 0 


当 ( E 多）= (艮，⑻）时，作为定义类 戈 VK ), 可以选“初等’’集合类策= 

M } (第二章§3定理 1). 由定理2的 （2) 和⑷式的等价性条件可见， 


{(-00,0：] 

^ 类也是定义收敛类. 


x e 


自然，对于更一般的空间，也产生定义收敛类的问题. 

对于空间 ar(n > 2), 形如 (-oo, X] = (-00,3：!] x 

的集合的 “ 初等”集合类寬是定义类（第二章 §3 定理 2), 也是定义收敛类 
(练习题 2). 

对于空间 JR °°, 柱集是“初等”集合，由柱集的概率可以唯一地确定一切博雷尔 
集的概率（第二章§ 3 定理 3). 结果,这时柱集类就是定义收敛类（练习题 3). s: 

似乎可以指望，对于更一般的空间，柱集类是定义收敛类.然而,一般并^&此. 
例如，考虑具有均匀度量 p 的空间 ( C , JB { C ) >P ) (第二章§2第6小节)，设 P 是 
完全集中在函数: r (0 = 0(0<^1)上的概率测度，而 P „( n 彡 1) 是概率测度,其中 


(-oo,x n ],x E (: Tl ， … ,X n ) 


X 


* 學 * 


G 


% 
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对于每一个 n > 1,都全部集中在函数 
P ( dA ) = 0的柱集 A , P n ( A )^ P ( A ). 但是，例如，若取集合 


x n ⑷上（见图 35). 不难验证,对于一切 


X 




n 


G C : |a(i)| 彡；， 0 彡亡 （1 卜 G ^o(C)y 


A — 

jfi — 


a 


其中 P ( dA ) = 0 : P n (A) = 0，P^4) = 1, 因而 P n 於 P. 


o 


Vn 2/n 


图 35 


这样,对于上面的例子，柱集类是定义类，但不是定义收敛类. 

练习题 

1. 称定义在上的函数 F =: F ( x ) 在点 x € R m 处连续， 如果对于任何 £>0, 
存在 S > 0, 使对于一切满足不等式 | F ( x ) - F ( y )\ <s &} ye 满足不等式 




x — Se < y < x Se y 


其中 e = (1, …， 1) € R m . 此外，亦称分布函数序列{^} 基本收 敛于分布函数 F (记 
作=> F ), 如果在函数 F = F { x ) 的所有连续点 x e M m , W F n ( x ) -> F ⑻. 

证明，对于 R m (m > 1), 定理2的结论仍然成立.（见定理1的注 .） 

2. 证明，对于空间] R ' “初等”集合类 | 是定义收敛类. 

3. 设五是空间 C 7 或 Z ? 之一，寥是开集生成的博雷尔集合代数，而 { P n } 

是定义在 a - 代数上家的概率测度序列.称 { P n } 在有 限维分布的意义上基本收敛 
于概率测度 P (记作 =4 P )， 如果对于一 切柱集 A , P ( dA ) = 0, 当 

Pn ( A ) ^ P ( A ). 

证明，对于空间为 1 R 00 的情形，有 


时 


71 — 00 


(Pn 4 P) 分 （P n 今 P) 


问对于空间 C 和 a 上述结果是否成立? 

4.设 F 和 G 是数轴上的分布函数，而 


L ( F , G ) = inf{h > 0 : F(x — h ) — h ( G ( x ) ^ F(x + ") + / i } 
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是 （ F 和 G 的） 莱维 （ P . P . Levy ) 距离. 证明，“基本收敛”与按由距离【(•,•）决定 

的“莱维度量的收敛” 等价： 


(F n ^F)^(L(F n ,F)^0). 


5.设凡4 且分布函数 F 连续.证明 F n (x) 收敛于 F(x), 与当 


时 


n — > oo 


sup \F n (x) — F(x)\ —► 0 


等价 


6. 证明定理1之注1提出的命题. 

7. 证明定理 1 之注 2 中提出的条件 （ I*) 〜 (nr) 等价性的正确性. 

8. 证明 P „ 鸟 P , 当且仅当序列 { P n } 的任何子列 { P „,}， 都包含这样的子列 

{ IV }，使 P 

9. 举出 ( R ,^( R )) 上概率测度 P , P n ( n ^ l ) 的例满足:八 ' P , 但是对于一切 
博雷尔集合 S e ^( E ), P n ( B ) 可能不收敛于 P ( B ). 

10- 举一分布函数 P = F(x),F n - F n {x),n ^ 1的例，使凡 

时， sup x \F n (x) - F(x)\ 不收敛于 0. 

11. 概率论方面的许多教材,把定理2关于“分布函数&收敛于分布函数 F ，， 
的命题“⑷今⑶”与赫利-布雷 （ E.Helly - J . R . Bray ) 的名字相联系.因此建议证 

明如下 命题： 

⑷ 赫利-布雷引理. 如果 F n ^F (见定义 1), 则 


P 


F , 但是当 


OC 


g(x)dF n (x) = / 9 (x)dF(x), 


lim 


其中 a 和6是分布函数 F = F(x) 之连续点的集合中的两个点，而9 = gOr ) 是 

上的连续函数. 

( b ) 赫利-布雷定理. 如果凡 4 P ， 而 p = p ( x ) 是 R 上的连续有界函数，则 


lim 


( 工 ) dl^ n (x) = 


g(x)dF(x) 


12. 设凡 > 兄而对于某个6 > 0,序列 


n^l 


有界.证明，对于0彡 a 彡6,有 


lim / \x\ a dF n (x ) = 
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对于任意灸=1,2,…，问, A : # 卜有 


j x k dF ( x ). 

13. 设戽冷 F , 而 m = med ( F ), m n = med ( F n ) 相应为 尸和凡 的中位数（第一 

章§ 4 练习题 5). 假设对于一切 w 彡1,中位数 m 和 m „ 的定义唯一,证明 — m . 

14. 假设函数 F 唯一决定于其各阶矩： 




lim 


x k dF ( x ), k = 1,2,-* 


= 


设分布函数序列 { F n } n ^ l 的矩满足 


x k dF ( x )^ k = 1，2, 


dF n ( x ) 


= 


oo 


证明 F n 冷厂 

15. 证明大数定律的如下的一种形式——辛钦 大数定 律:设…是具有 
有限数学期望 E 义 i = m 的、两两独立且同分布的随机变量，而=不+… + X n , 


那么 


Snj 几 


§2. 概率分布族的相对紧性和稠密性 


1. 关于分布函数类的列紧性问题如果给定概率测度序列，则在考虑它（弱) 

收敛于某个概率测度问题之前，当然应弄清它一般是否收敛于某个测度，或者该序 
列是否至少有一个收敛的子序列. 


= Q ，而 P 和 Q 是不同的概率测 
度，那么， { P n } 显然不收敛,然而它有两个收敛的子序列 { P 2 r J 和 { P 2n+1 }. 

对于非常简单构造的概率测度 V n (n ^ 1) 的序列 { P „}, 其中 P „ 集中在点 

{ n } 上 （ P n ({ n }) = 1)，则 { P n } 既不收敛，也不含任何收敛子序列.（因为，对于任 
何常数 


2n+l 


Mim n p n ( a , fe ] =0,则极限测度理应恒等于0,然而这与当 n 
PnW -0 矛盾 ,) 有趣的是，在这个例子中相应的分布函数序列 { F n }： 


时 


a < 


1，若 x > n ， 

0，若 x < n ， 


F n (x) = 


显然是收敛的：对于任何 x G M , 


F n ( x ) —► G ( x ) = 0. 

不过极限函数 <9 = G ( x ) (按第二章§3定义 1) 并不是分布函数 
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这个例子之所以可以借鉴，是因为它说明分布函数类不是列紧的.这个例子还 
提示，为使分布函数序列收敛于也是分布函数的函数，需要某些预防“质量在无穷流 


失”的条件. 


在说明这里遇到的困难的特点之后,我们给出基本定义. 


2. 分布函数类的相对列紧性和完备性假设所考虑的一切测度定义在度童空 


间（五，，/>)上 


定义1 称概率测度族 ^={ P a : a £ 11} 为相对列紧的，如果妒中的任何测 
度序列包含弱收敛于某一概率测度的子序列. 


需要强调，在这一定义中假设极限测度是概率测度，不过它有可能不属于原概率 
测度族％.(正是因为如此，在该定义中出现了 “相对”二字 

验证给定的概率测度族的相对列紧性相当困难.因此，希望有进行此检验的简 
单而方便的准则.下面的概念有助于实现这一目标. 


定义2 概率测度族妒= { P a 


e 11} 称为完备的，如果对于每一个£ > 0, 


: a 


存在紧统 KCE.it 


sup P a (E \ K ) 彡 

a&U 

定义 3 定义在 M n {n ^ 1) 上的分布函数族^ - { F a ： a G U } 称为相对列紧 

的（完备的)，如果相应的概率测度族 ^ = { P a : a eii } 是相对列紧的（完备的)，其 
中 是按& 建立的测度. 

3. 概率测度族列紧性的条件 下面的结果,在整个概率测度的弱收敛问题中有 
重要的作用. 


⑴ 


定理 1 (普罗霍罗夫 [ IO . B . IlpoxopoBj 定理） 设分= { P tt 


6 11} 是定义 

在完全可分度量空间（五，篆， P ) 上的概率測度族.测度族妒是相对列紧的，当且仅当 
它是稠密的. 


: a 


证明我们只对五是数轴的情形证明 定理. （这一证明亦可用于任意欧几里得空 
间 R n (n > 2) ([55],[5]). 然后依次证明对于以及对于 cr - 列紧空间定理 成立; 最 

后，对于一般完备可分度量空间，通过将每一种情形归结为上一种,并证明其成立 

必要性.假设 ( R ,^( K )) 上的概率测度族 ^^{ P a ：ae 11} 相对列紧但不稠 

密 •那 么，存在这样一个 e > 0,使对任意紧统 K 有 


supP a ( R \ K ) > 


即对于任何区间 J = ( a , 6)，有 


supP a ( M \/) > £. 

a 

由此可见，对于任何区间4 = (- n ， n)，n > 1，存在这样的测度 P a „， 使 

P ari ( R \/ n ) > e . 
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既然测度族妒是相对列紧的，则在序列 { Pajn ^ l 中存在子序列 { Pa n J , 使 

， Q , 其中 Q 是某一概率测度. 

那么，由于§1中定理1的等价条件（ I )和（ I )，对于任何 n > 1，有 


P 


Jim P^ k ( R \ I n ) ^ Q ( M \/ n ). 

fc —OO K 

，而 （2) 式的左侧大于 e > 0. 这一矛盾说明，事实上由相 


( 2 ) 


但是 Q ( M \7 n ) | 0 ,n 

对列紧性导致稠密性 

为证明充分性，我们需要一个（称为 赫利定 理的）一般 结果: 关于广义分布函数性 
质的 列紧性 （第二章 §3 第 2 小节).以少= { G } 表示满足下列性质的函数 G = G ( x ) 
(广义分布函数）的 全体： 

1) G ( x ) 不减； 

2) 0 < - oo), (5(+00) < 1; 

3) G ( x ) 右连续. 

显然 ，叉 包含分布函数 类多^ { F }, 其中 F (- oo ) = 0, F (+ oo ) = 1. 

定理 2 (赫利定理）广义分布函数类叉= { G } 是列紧的，即对于少中的任 
意函数序列 { G }， 在叉中存在函数 G ( x ) e 9 和子序列 { n fc } C { n }, 使对于属于函 

數 G = G ( x ) 之连续点的集合 C { G } 中任何点: r , 有 


G n .( x ) G ( x),k 


证明记 r = { xi , 

有界， 故存在子序列爪 = 使当 i — oo 

9 U 而子序列爪中存在子序列 7 V 2 二 { n [ 2 \- i2) 

于某个数仍，依此类推. 

在集合 TCR 上定义函数 GtOt ), 设 


•. } 为 R 上可数且处处稠密的集合.由于序列 { G n ( xi )} 

时 G ni i ){ xi ) 收敛于某个数 

时 G nW { x 2 ) 收敛 


X 2 ^ 


，…}，使当 i 


^t(^) ~ 9i ? ^ T , 


并考虑“康托尔”对角序列 iV = 


，… }, 那么，对于任意 Xi G T , 当 


m — > 00 


时，有 


G ( m )(xi) ^ Gr(xi) 

fl m 

最后，对于所有 x eR , 定义函数 G = G (； r )， 设 


G { x ) = influx ( y ) : y eT,y > x } 


(3) 


可以断定 ， G = G ( x ) 就是所求的函数，且对于 G ( x ) 的一切连续点 rr , 有 


G (m) (x) ―> G(X), 
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事实上，由于所考虑的一切函数都是不减的，故对于属于集合 r 且满足不 
等式 x 的一切 x ，％ 有 


(X) < G irr.) (y) 


G 


(m) 


因此，对于满足上面条件的: r ， y ， 有 G t {x) ^ G T {y). 由此和定义⑶，可见 G = G(x) 


是不减函数. 


现在证明 G = G(x) 右连续，设抑！ x 和= lim fc G{x k ). 显然 G?( ： r) <木只 

需证明 G { x ) = d . 假设相反： G { x ) < d . 那么，由⑶式可见，存在 y e < y ， 使 
Gr { y ) < d - 对于充分大的 fc，x < Zfc < y ， 即 G ( xk ) ^ G T ( y ) < d ， 且 limk G ( xk ) < d , 
而这与 d = limfcGfxfc ) 矛盾.于是，所构造的函数 G { x ) 属于 

最后，证明收敛性：对于任意点/ e C ( G ), 有 


〜咖 0 ) — G(x 0 )_ 


如果 o: D < 2/ e T , 贝 IJ 


limG —)(x 0 ) < HmG ( m)(y) = G T (y), 

ffl fl rn ffi 


因此 


< inqG T (y) : y&T,y>x°} = G(x°Y 

另一方面，设 x 1 < y < /， y G 则 

GOr 1 ) < G T (y) = limG ㈣ (y) = UmG (m)(y) < MkG ( m) (x°) 


(4) 


因而，当 z 1 T / 时，得 


G(x°-)^\miG 7l(rn) (x 0 ) 

7 vm 


(5) 


而如果 G ( x 0 -) = G ( x °), 则由⑷和 （5) 式可见 


f v vn 


□ 


oo 


现在完成定理 1 的证明. 

定理1的充分性设概率测度族沪完备，而 { P „} 是沪中的某一概率测度序 

列，以 { K } 表示相应的分布函数序列. 

. 由于赫利定理，存在 { F n } 的子序列 { F nk } C { F n } 和广义分布函数 G ( x ) € 
使对于 x e C { G }, F nk ( x )-^ G ㈤ .现在证明，由概率测度族少完备的假设，可见函 
数 G = G ⑻是“真正的”分布函数 (G(-oo) = 0,G(+oo) = l ). 

取 e > 0,设 J = { a , b ] 是使 


supP n (E\ /) < e, 
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即满足 


1 一 e < P n (a ， 6]，n 彡 1, 

的区间.选择点 a f , b f G C(G), 使 Y < a ， b f > b . 那么， 


1 - e < P nk ( a 7 b ] ^ v nk { a \ b f ) = F nk ( b ，）- F nk ( a f ) ^ G ( b f ) - G { a f ). 

由此可见 G(+oo) — G (- oo ) - 1, 而由于 0 < G (— oo )< G (+ oo ) ^ 1, 可见 G(—oo) 

0， G (+ do ) = 1, 

于是,极限函数 G = G { x ) 是分布函数，且凡 fc # <7. 因此,连同§1的定理2就 

Q， 其中 Q 是根据分布函数 G? 建立的概率测度 




证明了 P 




4. 练习题 

1. 对于空间 M n (n ^ 2), 证明定理1和 2. 

2. 设 P a 是直线上参数为和 

{ Pa ； aeiX } 是完备的，当且仅当存在常数 a 和 6, 使 


2 


eil 的高斯测度.证明，测度族 茨 


m a | ^ a, crj < 6, a e H. 


3. 举例：定义在 (M 00 ,^ 00 )) 上的，⑴稠密的概率测 度族少 = {P a ;a€il}, 
(2) 不稠密的概率测度族妒= {P Q ;a€il}. 

设尸是度量空间 ( E 兄 p ) 上的概率测度.称测度 P 为 稠密的 （对照定义2)， 

如果对于任意 s > 0,存在紧统 K g E， 使 P ( K ) ^1~£. 证明下面的结果（伍拉姆 . 

[Woollam] 定理 ) ：每一个完全可分度量空间上的概率測度尸是拥密的 . 

5 .设尤= { X ^ a ^ U } 是一随机向量族，且对于某个 r > 0, sup a \\ X a \\ r < 
证明分布的尸 a = Law(X a ) 分布族妒= { P a ; aeiX } 是稠密的. 


4. 


oo 


§3. 极限定理证明的特征函数法 


1. 历史情况概述在概率论中，最早极限定理 

拉斯定理，以及伯努利概型中的泊松定理——的证明，基于求极限前对分布函数凡 
的直 接分析 ，而可以十分简单地由二项概率表示.（在伯努利概型中，随机变量只 

有两个可能值，故本质上可能明显地求出函数仏 .） 然而,对于更复杂形式的随机变 
量,类似的对函数&直接分析的方法实际上无法实现. 


大数定律，棣莫弗-拉普 


对于服从任意分布的、独立随机变量之和的极限定理的证明，首先是切比雪夫 


实现的. 


切比雪夫提出的、现在众所周知的“切比雪夫不等式，，，不但可以用初等方法证 

明 J . 伯努利大数定律,而且为独立随机变量之和 &=& + ...+ Un > 1) 的大数 
定律对一切^ > 0,有 


S n E^ n 


P 


^ £ 


0, 71 ―^ 00’ 


( 1 ) 


n 
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建立了相当一般的 条件. （见练习题 2 .) 

此外，切比雪夫创建（而马尔可夫完善）了所谓“矩法”，用这种方法可以证明棣 
莫弗-拉普拉斯定理的论断： 


| ^ J e~^du(= $0 ))， 


S n - E 5 


( 2 ) 


P 


^ x 




并且在如下意义上具有广泛的 特点： 它在关于被加随机变量的性质十分一般的假设 
下成立.这正是把命题 （2) 称做概率论的中心极限定理的根据. 

稍后，李亜普诺夫提出了另一种证明中心极限定理的方法，（源于拉普拉斯的) 

这种方法以概率分布的“特征函数”的思想为基础.后来的发展说明，李亚普诺夫的 
特征函数方法”，在证明最为多种多样的极限定理时，是十分有效的，这决定了它的 


a 


发展和广泛的应用 


这一方法的实质如下, 


分布函数与特征函数对应的连续性我们已经知道（第二章§12)，在分布函 
数与特征函数之间，存在 一一 对应关系.因此，可以通过特征函数来研究分布函数的 
性质.最出色的事实是，分布函数的弱收敛 ' F ， 与相应特征函数的逐点收敛 

A 二者 等价. 并且，下面的定理提供了 “关于数轴上分布的弱收敛定理”证明 






的基本工具. 


定理1 (连续性定理）设 { F n } 是分布函数序 列：」 F n = F n ( x) 7 x 6狀，而 {< p n } 
是相应的特征函数序列： 


e ltx dF n ( x ), 亡 e 


^n(0 




1) 如果> P ， 其中 F = F ( x ) 是某一分布函数，则 < f n ( t ) — > 其中 p ( t ) 

是 F = F ( x ) 的特征函数‘ 

_ 

2) 如果对于每个 t € R 存在极限 lim n ( p n { t ) 7 而函数 < p { t ) = lim n < p n { t ) 在 t = 0 
连续，则 < p ( t ) 是某一概率分布 F = F ( x ) 的特征函数，且 


F n ^K 


证明将弱收敛的定义分别用于函数 Re 和 Im e ^， 立即可以证明命题 1). 

命题 2) 的证明，要求事先证明几个引理. 

引理 1 设 { P n } 是稠密概率测度族.假设序列 { P „} 的弱收敛子序列 { P „,}， 
都收敛于同一概率测度 P . 那么，整个序列 { P n } 也弱收敛于同一概率测度 P . 

证明假设结果相反: P n 夺 P . 那么，存在这样的有界连续函数/ = f ( x \ 使 


f ( x ) P n ( dx ) 


f ( x ) P ( dx ) 
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由此可见，存在 e > 0和无限数列 { n '} g { n }， 使 


/( x ) P ( dx ) ^ £ > 0 


f(x)P nf (dx) 


⑶ 




根据普罗霍罗夫定理（§ 2 ),由序列 { P n ,} 可以选出子序列 { P n 〃}， 使 P 

中 q 是某一概率测度. 

根据引理假设 P = Q ， 因而应有 


Q , 其 


f / ⑻ P(dx )， 

JU 


f(x)P n ^(dx) 


而这与 （3) 式矛盾，从而引理得证 

设 { Prx } 是 ( E ,^( R )) 稠密概率测度族.序列 { P „} 弱收敛于某概率 
测度，当且仅当于每个 f R 存在极限 lim n % ⑷，而 函数外 ⑷測度 Pn 的特征函 


□ 


引理 


数 


itx 


Wn (亡）~ 


P n (dx) 


证明如果概率测度族 { P n } 稠密，则根据普罗霍罗夫定理，存在数列 { P n ，} 和 

P . 假设结果 相反： 整个序列不收敛于 p ( p n ^ p ). 那么， 

根据引理1，存在子序列 { P „〃} 和概率测度 Q ， 使 P „〃 ， 

现在利用：对于每个 t G R 存在极限 lim n ip n ( t ). 那么， 


概率测度 P ， 使 P 


Q ， 并且 P 一 Q 


lim / e ltx P n ^(dx) = lim / e itx P n ^(dx) 


m Trt 

因而 


itx 


itx 


P(dx)= 


Q(dx), t e 


由于特征函数唯一决定分布（第二章§12定理 2), 故 P = Q 与假设 P n ， P 矛盾 

最后，由弱收敛的定义，可见引理相反的结论成立. 

下一引理,根据特征函数在0的邻域内的性质,给出分布函数“尾部”的估计 

设卩== F ( x ) 是数轴上的分布函数， 而 tp = ( p ( t ) 是其特征函数 • 那么, 
存在常数 K > 0,使对于任何 a > 0,有 


□ 


引理 


K 


dF(x)( 


[1 — Reyp(t)]dt 


.⑷ 






证明由于 


Ke(p(t) = 


cos txdF(x)^ 
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则傅比尼定理，可见 


[1 — Rep ⑴] dt = 


(1 — costx ) dF ( x ) dt 


a 


o 


o 


oo 


sin ax 


(1 — cos tx ) d £ dF ( x ) 


dF { x ) 




ax 


a 


o 


sin y 


彡 inf ( 1 — 


dF ( x ) = - 


dF ( x ), 


X 


y 


aa;|^l 


x |^ l/a 


inf U — ^ 


—1 — sin 1 ^ 


K | y|^l 


7 


y 


于是，当常数 K = 7 时 （4) 式肯定成立 

定理 1 的命题 2) 的证明. 设 if n ( t ) ^ W ⑴， n — 00,其中 (P ⑷在0连续.现在 
证明，由此可见， { P n } 是稠密概率测度族,其中 P „ 是对应于分布函数的测度. 

由于 （4) 式和控制收敛定理，当 


□ 


时，有 


n — > oc 


K 


Pn ^\ 


dF n ( x ) < - 


[1 _ Re ^ n ( f )] d ^ 


a a 


a 




o 


K 


[1 — Re</?(i)]di, 




a 


o 


由于根据定义 ^ ⑴在 0 连续且 w (0) = 1，可见对于任何 e > I )， 存在 a > 0,使对于 
一切 n > 1，有 


Pn R \ 


彡 e. 




a a 


从而测度族 { Pn } 稠密，而引理 2 知存在概率测度 P , 使 


P 


P 


因此 


itx 


itx 


Wn ⑴— 


Pn ( dx ) 


P ( dx )， 


e 


e 


即⑴—々⑴.于是，是概率测度 P 的特征函数. 

系设 { F „} 是分布函数序列，而 {< p n } 是相应的特征函数序列.此外，设 F 是 

分布函數，而 W 是其特征函数.那么 ，凡 F , 当且仅当对于一切亡 

W ⑻， n 


□ 


， ^ n (^) 




— ^ OO 


注设 
4,称随机变量 H 


是随机变量，且 K 
依分布收敛于7?，并记作 r] n 


F v . 那么，根据第二章§10定义 

这一记号很直观 w 是 

distribution 的字头)，因此在表述极限定理时，常认为表达式加土 "比 巧 




• * * 


d 


1 


Ffi 


更好 • 
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极限定理证明的特征函数方法 在 下一节，定理1将用于不同分布的、独立 
随机变量中心极限定理的证明.证明将在所谓林 德伯格 （ J . W . Linderbege ) 条件下 
进行.然后证明， 李亚普诺夫条件可 以保障 林德伯格条件 成立.现在，我们用特征函 

数法证明几个简单的极限定理. 

定理 2 (辛钦大数定律） 设 6,6，... 是独立同分布随机变量序列，且 E |6| 

< oo , E^i = m ， S n =+…+ 《 n ， 则 S n /n ^ m , 即对于任何 e > 0,有 




S n 




0, n 


—^ oo 


n 


it ^ 


证明设 W ( t ) = Ee 略和 ips T j n { t ) = Ee 

§12 的公式 （6)， 有 


, 则由随机变量的独立性和第一章 


K9 




而根据第二章§12的 （14) 式,有 


(p(t) = 1 + itm 4- o(t), t ^ 0 


因此，对于任何给定的 t G R ， 有 


(9 


e 




， n — ^ oo . 


n 


从而， 


( 9 . 


itm 


⑴= 


n 


函数在0连续，并且是集中在点 m 的退化概率分布的特征函数.于是 


S n 


d 


-^ m, 


n 


即（见第二章§10的练习题 7) 


S n 


P 


□ 


—^ m 


n 


定理3 ( 独立同分布随机变量的中心极限定理） 设&，&，••_是独立同分布 
(非 退化）随机变量序列，且 E 技 < oo , & = 心+ ... + &， 则当 

Sn — ES n 


时，有 


n oo 


{ 


p 


^(x),x e M, 


⑹ 


^ X 


其中 


~^du 


$( x )= 


e 


V2tt 


— OO 
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* 


证明设= m , D^i = a 2 , 而 


tp(t) = Ee it{ ^ m \ 


那么，如果记 


S 


ES 


it 


(f n (t) = Ee 


n 


则 


n 


^ n { t ) = 




CTa/H 


但是，根据第二章 §12 的 （14) 式,有 


cr 2 f 2 

屮⑴=1 — + o ( t 2 ) } i > 0. 


因此，对于任意固定的 f 和 


oo , 有 


n — > 


n 


< J 2 t 2 

2na 2 


⑸] 


—咢 


^Pn{t) 


函数是均值为0而方差为1的正态分布（记作 N (0 f l )) 的特征函数，故 
由定理1可见 （5) 式成立.根据定理1的注，可以将该结果写成 

S n - ESn 


d 


N (0, 1). 


( 6 ) 


□ 


上面两个定理，涉及“独立同分布（规范与中心化）随机变量之和 & = 

匕”的概率的渐近性质.然而，为表述泊 松定理 （第一章§6)，不得不考虑更一般的模 
型， 即所谓随机变量的系列 概型. 

具体地说，假设对于每个给定随机变量 6 u ， 

机变量的（下）三角 矩阵： 


+ 


» 


m . 换句话说，给定随 


+ * * 




^21 ^22 
^31 ^32 ^33 


其中每一行 （第 一行 除外） 的随机变童相互 独立. 设心=“ +…+ 

定理 4 (泊松定理）设对于每个1，独立同分布随机变量 ^ nl ， … , Cnn , 有 


= 1} = Pnki P {^nk ~ 0} = Qnkj 1 ^ ^ 

Pnk + q n k = 1 ? ma^c p nk — 0， p nl + • • • + 


n ， 


A > 0,n —> oo 


― y 


n 


那么， 


A 


m 


一 A 


P{S n = m} 


(7) 


0，1， 


m 


—> — re 




* 蠡 


m 
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证明因为对于 1 < k < n ， 


Ee 说 


it 


= PnfcC + Qnki 


所以，当 


时，有 


⑴ = Ee ^^ 71 = [I {Pnk^ + Qnk) 


fc = l 


fj[l + Pnfc ( e ^ - 1)] exp { A ( e u - 1)} 


fe —1 


函数…⑴ = exp { A ( e ^ - 1)} 是泊松分布的特征函数（第二章§12第2小节例 3), 从 
而⑺式得证.如果以 tt ( A ) 表示参数为 A 的泊松随机变量,则仿照⑹式可以将⑺ 
式写成 


d 


S n 兀(入) 




4. 练习题 


1. 对于空间 R n (n ^ 2) 的情形，证明定理1的命题. 

2. 设…是独立随机变量序列，并且具有有限均值 E |&| 和方差 D &, 而 

oo , 其中欠是某一常数.利用切比雪夫不等式证明大数定律 （1). 

3. 在定理 1 的系中，证明函数族一致连续，并且在每一个有限区间上有 


一 致收敛 


<Pn 




4. 设⑴, n > 1是随机变量 Un ^ 1) 的特征函数，证明& 土 0,当且仅当 

在点 t = 0的某邻域内 ( f ^ n ( t ) — > 1 

5 . 设心為,…是（取值于妒的）独立同分布随机向量序列，且具有0均值 
和（有限）协方差矩阵 r . 证明 


， n — go 


+ …+ X n 


d 


N(0, T) 


y/n 


(对照定理 3.) 

6 •设 Ci ，（2, …和仍，仍，…是两个随机变量序列,且对于每一个 n ，《 n 与％独 

%其中€与7?独立.证明二维随机变量序列 


oo 时 4 ( , 


d 


立.假设当 


n — > 


Vn 


Kn ,7? n ) 按分布收敛于 

设/ = f ( x ， y ) 是连续函数,证明序列/ = In ) 按分布收敛于/ = / K , r ?). 

7. 举例说明，定理 1 之命题 2 中“极限 ’’ 特征函数 </?(*) 二 lim n ^ n (i), 在 0 的 

连续性条件一般不能减弱.（换句话说,假设分布 F 的特征函数一⑷在0不连续，则 
可能出现这样的 情况: 〜⑴ — 中 ( t ), 然而 F .) 举例 说明：缺少以 t ) 在0连 
续的条件,可能导致破坏概率分布族 P n ( n ^ l ) 的稠密性,其中是的特征 


函数 
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4. 独立随机变量之和的中心极限定理 I . 林德伯格条件 


1. 林德伯格条件 在这一节，将在满足经 典的林德伯格条件的 传统假设下，证 
明独立随机变量心，6,…，匕 ( n 彡 1) 之（规范与中心化的）和5；的中心极限定理. 
下一节将考虑更一般的 情形： 第一，中心极限定理直接为“系列形式”，第二,其证明 
在满足 所谓非经典条件下 进行. 

定理1 设6,6,…是具有有限二阶矩的独立随机变量序列.假设 


n 


E 4 


> 0, Sn =《1 + …+ € n ， 乃 


2 


m k 




n 


fe=l 


而 F k = F k ( x ) 是随机变量的分布 函数、 

假设满足“林德伯格条件”：对于任意 S > 0, 


n 


(x - mfc ) 2 dFfe ( x ) — 0 ，n 


( L ) 


⑴ 


—> oo . 


{x:\x-mk\^eD n } 


n 


k —1 


那么， 


S n — ES n 

证明不失普遍性可以认为 m *； = 0 (/c > 1). 记 


d 


N (0 A ) 


( 2 ) 


外⑷ =Ee 略，几 = = 以 


s n 


( t ) = Ee its - ? if T ( t ) = Ee itT - 


S 


那么， 


n 


( t ) = Ee itTn = Ee^ s 


(3) 


=(p 


S 


k~l 


而（由于 § 3 定理 l ) 为证明 （2) 式，只需对于任意 t e 艮证明 


2 


⑷ 




， n — ^ oo 


取某个 （e R ， 并认为在整个证明过程中 t 是固定的.由于分解 


=1均+挲， 




e 


2 


2 


3 


^\ y \ 

~§r ， 

对于每一个实数 ％ 其中 此 | < 1 ， | 内 | < 1 (心 = e x ( y ), e 2 = e 2 { y )), 有 

Mt) - Ee 略 


y 


vy 


=1 + + 


e 


2 


^ tx dF k ( x ) 

■OO 

0\ { tx ) 2 




t 2 X 2 02\tx\ 3 


dF k ( x ) + 


1 + itx + 


1 + itx — 


dF k ( x ) 


2 


2 


6 


|x|^eD 


jx|<eD 


2 


2 


3 


I * 


6 ix 2 dFk ( x ) 


2 


6 2 \ x \ s dF k ( x ), 


=1 + — 


dF k ( x ) + 


x 






2 


6 




| x |< e,D 
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其中用到：根据假设 


xdFk { x ) = 0 


rrik = 


— OO 


从而 


t 2 


t 2 


2 


e ^ dF ^ x ) 


dF k ( x ) + 




X 


2 DI 


2 D 1 


D n 


\x\<eD 


\ x\^eD 


(5) 


3 


t 


6 2 \ x \ z dF k ( x ) 


6 邛 




由于 


0 ix 2 dF k ( x ) < 


x 2 dF k ( x ), 


2 


2 


\ x\^eD 


\x\^eDrt 


有 


6\ x 2 dFk ( x ) — 9\ 


2 


dF k ( x ) 7 


⑹ 


2 


jxj^eD 


x\^eD 


其中沒 ！ = 0 i ( t , k y n ), \0 X \ ^ 1/2. 

同样， 


^\ x \ s dF k ( x ) ^ 士 


e 2 \ x \ s dF k ( x ) 


sD n x 2 dFk { x) y 


6 


6 


6 


x\<eD n 


jxlCeD 


x\<eD 


02\x\ 3 dFk(x) = 62 


D n x 2 dF k ( x ), 


⑺ 


£ 


6 


x\<€D n 


x\<eD n 


其中 0 2 = 0 2 fefc ， n )，|0 2 | 彡 1/6 

现在，设 


2 


A 


dF k ( x ), B kl% = 


dF k ( x ) 


Dl 


x\<eDn 




那么，由 （5)~ ⑺式，可见 


t 2 A 


kn 


+ ^ 2 G\^kn + |t| 3 £02^fcn(= 1 + Cfcn) 


⑻ 


Wk 


D n 


2 


注意到 


〉 : (Afcn + 召 fen ) 


1， 


(9) 




fc=l 


并根据条件 （1)， 有 


E 执 


( 10 ) 


fc=l 
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因此，对于充分大的 n , 有 


Ckn\ < t 2 £ 2 + e\t 


3 


( 11 ) 


max 


和 


n 


\Ckn\ 彡亡 2 + 非 | 3 , 


( 12 ) 


k^l 


现在利用如下 事实： 对于复 数&若 M 0/2,贝 |J 


+ 卟| 2 ， 

其中汐 = 6(z), I 沒 I 彡 1，而 In 表示对数 的主值 (In 2 ： = In \z\ + zarg2, —ir< argz ^ 7r) 

那么，对于充分大的 n ， 由 （8) 式和 （11) 式，可见对于充分小的£ > 0, 

lll(l + Ckn) — ^kn ^ ^kn\^kn\^^ 


ln(l + z) 


■ ■■ nf 

— 






D n 


其中 |^ fen | ^ 1. 因而，有 （3) 式可见 


t 2 


n 


2 


n 


t 2 


S—(i 


+ E^n + E Okn\Ckn\ 


2 


了 + In <p Tn (t) 








2 


2 


2 


fc=l 


fe = l 


由于 


n 


n 


t 2 


t 2 


n 


n 




J -j-t 2 y^0i(t,k,n)B kn + £\t\ 3 ^9 2 {t } k y n)Ak 

I fc=i fc=i 

而由 ⑼ ,(10) 两式,对于任意 (J > 0,存在充分大的 no 和 e > 0,使对一切 n 彡 w 0 , 有 

n 


1 一 


— + 




n 


72? 


2 


2 


k=l 


fc=l 


2 


s 




— + 


n 


2 


2 


fe=i 


此外，由 (11),(12) 两式，可见 


n 


n 


Y^ B ^n\Ckn\ 2 ^ max ICfcnl x E|C^ n |< (f 2 e 2 + e|f| 3 )(f 2 + 冰 I 3 ) 

fc-i \ \ n k=i 

因此,对于充分大的 n 和适当选择的 e > 0,可以使 


n 




2 




2 


fc=i 


从而 


2 


+ ln^r n (t) ^ S 


~2 


这样，对于任何实数 t ， 有 




l，n oo, 


于是， 


4 


此⑺ — e - 


□ 


，n — oo 
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林德伯格 条件的某些特殊形式考虑满足林德伯格条件 （1) 的某些特殊情 
形,从而也就是中心极限定理成立的情形. 

a ) 李亚普诺夫条件， 对于某个 S > 0, 




n 


— ^fcl 


2十<5 


(13) 


0_ n 

J 


— ^ oc 


2衫 


k = l 


设£ > 0,那么 


2+5 __ 


- m k \ 2+5 dFk(x) 


E 心：一 爪 k J 


\x - m k \ 2+d dF k (x) ^ 


(x - m k ) 2 dF k {x), 




s 






因此，当 n 充分大时，有 


n 


n 


f Effc -m fc | 


(: r — m k ) 2 dF k (x) ^ ] 

E° 


2+5 


X 


Dl +5 


{x ： \x-m k \^eDn} 


n 




从而， 李亚普诺夫条件可 以保障 林德伯格条件 成立. 

b ) 独立同分布情形. 假设…是独立同分布随机变量，且存在 

和方差0 < tr 2 s Dh < 00,那么 


6 


m 


n 


n 


(x — m) 2 dFk(x) 


(x - m) 2 dF!(x) —► 0, 


2 


ncr 


{xilx—ml^eDn} 


{x:\x—m\^€cr 2 ^/^n} 


n 


fc —1 


因为当 


时 ， {x \ \x - m\ ^ £a 2 y/n } 丄 0 ，而 


2 


= E(€i — m ) 2 < 

于是， 林德伯格条件 成立，从而由§3的定理3可得已证明的定理 1. 

c ) 一致有界的情形. 假设 （ 1 ,^ 2 , …是独立随机变量，且对于 一 切 n > 1， 有 


n oo 


(7 


oo 


\^n\ ^ K <QO, 


其中 K 是某一常数，且当 

那么，根据切比雪夫不等式 


时， D 


n —► oo 


— 00 


n 


(x - m k ) 2 dF k {x) = E[(《 fc - m k ) 2 I{\^k - m k \ > eD n )] 


{iC: fX _ j > eX^ji } 


^ (2 i 0 2 P {& - m fc | > sD n }^ 


n 


因此，当 


时， 


n — oo 


n 


2 


(2 iC ) 


(x - m k ) 2 dF k (x) ^ 


s 2 m 


{x;\x—mk\^sDn} 


n 


n 


于是， 林德伯格条 件仍然成立，从而中心极限定理成立. 
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系列形式下的林德伯格条件 


螓 


注1设 


s n — ESn 


^ F tA x ) = P{^n ^ x} 


T n = 


乃 n 


那么，命题 2 表示当 


时，对一 ‘切 x € R . 

F r „( x ) — $( x ). 

由于 $( x ) 是连续函数，则这里实际上是一致收敛 （§1 练习题 5) 


n — > oc 


sup lFr n ( x ) — ^( x )| — 0 ，n — oo 


(14) 




特别，由此可见 


x-ES 


P { S n ^ x }^^ 


0, n 


—► oc. 


D n 


这一结论可以用语言表示为:对于充分大的随机变量&大致服从均值为 E & 和 
方差为叱= BS n 的正态分布， 

注2由于根据注1，当 


时关于 x —致 收敛： F Tn ( x ) ^ ^( x ), 自然提出 

关于（ I 4 )式的收敛速度的问题.在独立同分布且 E |^| 3 < 00的情形下, 

贝里-埃森 （ A , C . Berry - C . G . Esseen ) 定理（不等式） (§11) 提供了该问题的 答案: 


n OO 


3 


E |6 -恥 I 

其中 C 是任意常数，其具体值至今未知.(在 [90] 的第五章 §4.3 用不等式估计了该常 

数: l / v^^C ^ 0.765 5.) 

在§11将给出 （15) 式的证明. 

注3现在赋予林德伯格条件略有不同（甚至是更为紧凑）的形式，特别方便用 

于极限定理的“系列形式 

设6,6,…是独立随机变量序列， 


sup | Ftv ( x ) — ^( x )\ ^ C 


(15) 


4 一讯 k 


^ a k = a k > 0 ( 77 》 l)，Cnk 


爪 fc = 




k —1 


考虑到这些记号,林德伯格条件 （ l ) 现在具有如下 形式: 


Y^rnnkHiui ^ e)} 

如果^ =。…则 BS n = 1,而定理1可以赋予这样的 形式： 若满足条件 

⑽，则 


(L) 


(16) 


0 ，n — 00 




d 


&二卵，1). 

在这种形式下,中心极限定理不需要假设随机变量具有 (^- m k )/ Dn 的特殊形 
式.具体地说，用定理1的证明方法，可以证明如下 结果： 
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定理2 设对于每一个 n > 1， 




n 


是独立 随机变 量序列 ，且 E^ nk = 0 ? D & = 1, 其中〜 = Q +…+ 匕 

那么，林德伯格条件 （16) 是 收敛乂 4 7 V (0,1) 的充分条件. 

4. 林德伯格条件的必要性由于 


n 


* 


n 


G 2 + EeKWU h )]， 


max 

l^k^n 


fc=l 


则由林德伯格条件 (16) t 可见 


E 匕— 0 


(17) 


max 

l ^ fc^n 


， n — oo 


很出色的是，在条件 （17) 下，由中心极限定理成立 f 就可以自然得出林德伯格条件成 


① 




定理3 设对于每一个71彡1， 


€nl ， fn2, ‘ * * ， Cn 


n 


是独立随机变量序列，且 E^ n fe = 0, = 1，其中 S n = ^ n i +…+ ( nn . 假设满足条 

件 (17). 那么，对于中心板限定理心— N (0,1) 的成立，林德伯格条件充分而且必 


要 


由定理2立即得充分性.为证明其必要性，需要下面的引理（对照§3的引理 3). 

引理设随机变量 （ 的分布函数和数字特征为 F = F { x ), 而且 Ef = 0 ，Df = 
7 > 0. 那么，对于每一个 a > 0, 


x 2 dF ( x ) ^ ^[ Ref ( V 6 a ) - 1 + 3 7 a 2 ], 

CL 


(18) 




其中/ ⑴二 Ee 埘是 €的特征函数 

证明有 


Re/W — 1 + x 7^ 2 = 乂 7亡 2 — 


(1 — costx ) dF ( x ) 


2 


2 


一 OO 


2 


(1 — cos tx ) dF ( x ) — 


(1 — cos tx ) dF ( x ) 


= j — 


2 


\x\<l/a 


kl>l/a 




2 


x 2 dF ( x ) — 2a 


2 


x 2 dF ( x ) 


2 


2 


lx |< l / 


kl > i / 


2 


2 


x 2 dF ( x ) 


t — 2 d 


2 


t 啦 l/a 


①条件 （ I 7 ) 称做“均匀小条件在均勻小条件下，林德伯格条件是独立随机变量序列服从中心 
极限定理的充分和必要条件.——译者 
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蠡 


设 t = 得所要证明的 （18) 式 

证明定理 3 的必要性设 


□ 


Fnk(^) = PUnfc < x},f nk (t) = Ee 成 ' 

= > 0， 


(19) 


n 




0, n 


h if k %^ k 


—^ oo 


fc — 1 


以 Ins 表亦复数 z 之对数的主值（即 In 2 = In \ z \ + iargz ，-7 r < arg z ^ it ) 


那么， 


n 


n 


In JJ /nfcW = ^2ln f nk (t) 4 - 2irim, 


fc=l 


fc=l 


其中 m = m ( n , t ) 是某个整数 • 从而， 


n 


n 


RelnYl fnk(t) = Re^2lnf nk (t) 


( 20 ) 


A:—1 


A:=l 


由于 


n 


e 2 ， 


/nfc ⑷ 


- ^ 


k—1 


故 


n 


4 


Y{fnk(t) 


fc —1 


因而 


n 


n 


Rein JJ /nfc ⑷ 


fnk{t) 


2 


Rein 


( 21 ) 


t 






2 


fc = l 


fc=l 


对于 | z | < 1， 


2 


3 


Z 


Z 


ln(l + z ) 


( 22 ) 


1 


z — 




» • * 




2 


而对于 |2| < 1/2, 


2 


I ln(l + z ) - z \ < |^| 

由于 （19) 式，对于每个固定的 *， 所有充分大的 n 和一切 fc = 1，2, 


(23) 


有 


， n ， 


\fnk(t) _ 1| ( T^lnkt 2 ( - 


(24) 


2 


2 


因此，由（ 2 3)和（ 2 4)两式，可见当 


时 


71 — 00 


n 


n 


y^O n [l + (/n*(0 — !)] — (fnk(t) - 1)}| ^ ^ \fnk(t) - 1| 


2 


fe^l 


n 


t 2 


t 2 


E 


^ 4l2^n 7 ^ X 


0, 


Ink = 


4 l ^ n lnk 


fc=l 
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从而 


71 


n 


Re^ln f nk (t) - Re ^ [f nk (t) - 1] 


(25) 


0 ，n —^ oo 


— > 


A：=l 


k=l 


由 （20)，(21) 和 （25) 式,可见 


n 


n - 

J2 Re “ ⑷ 

k=l - 


Re JZ[/nfc ⑴ - 1] 


2 


1 + ^i 2 lnk 


t 


0, n 


—> oo 




2 


2 


k=l 


设 f = \/6 a , 对于每 一 个 a ：> 0,有 


n 


[ Re/ n fc (\/6 a ) — 1 十 3 a 2 7 n ^] 


(26) 


0, n 


—> oo 


fc=l 


最后，由 （18) 式（其中设 a = 1/0 和 （26) 式，得 


n 


n 


TE[e nk m nk \ > e )\ 


2 dF nk (x) 


X 




X 


fe=l 


n 


Y ^ l Re fnk ( V 6 a ) — 1 + 3 a 2 Tnfc ] ~^ 0, Tl 


2 




—> OO 


fc=l 


于是， 满足林德伯格条件 得证. 

练习题 

1_假设6，&,…是独立同分布随机变量序列，且 E 技 < oo , 证明，当 


□ 


* 


n — oo 


时，有 


( l | \^ n \ 


d 


0 


max 


2. 对于伯努利概型,直接证明，当 


时， 


72 — 00 


sup\F Tn (x) — 少 ( 工 ）| 


X 


的数量级为 l/\/n. 

3•设 Xi , X 2 , .. 是独立可交换（顺序的）随机变量序列（见第二章§5练习题 

4)，且 = 0 ，EXf = 1，且 


{Xl xl) 


cov(Xi,X 2 ) 


(27) 


cov 




证明，中心极限定理成立 


n 


[；&4聊，1) 


(28) 


n 


相反，如果< oo 且 （28) 式成立，则 （27) 式也成立 
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4. 局部中心极限定理 _ 设 X U X 2 ^^ 是独立同分布随机变量，而且 EXi 二 

0， EXi 2 = 1. 假设其特征函数…⑴= Ee ^ A ^ 具有 性质： 对于某个 r 彡1,有 


|^(i)| r di < oc 


证明，随机变量 S n / y / E 的概率分布密度 f n ( x ) 存在，且关于 xeR 一致，有 

/„ ⑷— {2 n )~ h -^ 

问相应的结果对于格点随机变量如何？ 

5.设 X U X 2 ，.，， 是独立同分布随机变量，且 EX! = 0, EX ! 2 ^1. 假设 dldl 

是非负常数满足：屯= o ( D n ), 其中巧= ELi d l 证明加权变童 d l X u d 2 X 2 , 
序列服从中心极限 定理： 


, n ^ oo 


4 鬌 


d 




聊，1)， 


n — ^ cx> 


k 


D n 


fe=l 


6 •设 是独立同分布随机变量，且 E & = 0，屈技=1.假设 { r n } n>1 

是在集合 {1,2,- -} 中取值的随机变量，且 r n / n 五 c ， 其中 c > 0是常数.证明 

(知= 6 +… + U 


Law(7^ 1/2 D 

芒〜 iV (0, l ) •(注意，这里并没有假设序列 { r n } n ^ 以及独 




7 .设€ 1 / 2 ,…是独立同分布随机变量，且 E 6 = 0 ，Eff = l . 证明 

—Law(ICl )， 


一 1/2 


Law(n 


max 

l ^ m^n 


其中 < 〜7 V (0,1), 换句话说，对于 : r > 0,证明 


2 




P 


Sm ^ 


dy = ^erf(x). 


二 max 

Tl l^m^n 


X 


e 


V 2 


7 T 


0 


提示： 首先对于对称伯 努利随 机变量 … ： P{& = 士 1} = 1/2, 证明所提出 

的命题，然后证明对于任意满足 E 6 = 0, EC ? = 1的独立同分布随机变量心，6,, 

有同样的极限分布.（这 里极限分布的形状，不依赖于 “具有 E & = 0 ,Eg = 1的独 
立同分布随机变量6，&, 

8. 在上 题的条 件下.证明 


的具体选择，并称做“不变原理”；对照 §7.) 


- 1/2 


P{n 


5Vn| ^x} H(x),x > 0, 


max 

l ^ m^n 


其中 


k 


(2 k 4 - 1) 2 7 t 2 


(— 1 ) 


fc=0 


2^ TT exp 


8x 2 
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9. 设不，為，…是独立随机变量序列，且 


P { X n = ± n a } = 


， P { X n = 0} = 1 


2 n 0 


/3, 


n 


其中 2 a > P - h 证明林德伯格条件成立当且仅当0 < /5 < 1. 

10.设 Xi ，％， …是独立随机变量序列， | X n | 彡 <7 n ( P - 


) ，而 ， 


a.c 


其中 


Dl = J ^^ k -^ X k ) 


2 


—> oo 


fc=l 


证明 


S n — E 5 n 


^ (0,1), 其中 * S n = + ■ * * -f X n . 


D n 


是独立随机变量序列，且 BX n = 0, EX 2= a 


11. 设 A , X 2 ， 

服从中心极限定理,而且对于某个> 1，有 


2 


假设 { X n } n ^i 


k 


(2 k )\ 




2 k k \ 


证明 fc 阶林德伯格条件成立，即 


⑻ = o ( 砣 )， e >0. 


X 


j=,l 


(普通的林德伯格条件，对应于 k = 2 的 情形； 见 （1) 式 .） 

12. 设 X = X ( X ) 和 y = : K ⑻是参数相应为 A > 0和 g > 0的独立泊松随机 
变量.证明当 A 


时 


00 , " — oo 


[义 ㈧ 一 a ] - [m //] 


聊， 1) 


^( A ) + Y ( fx ) 


设对于 n 彡 l ， n+l 维随机向量 （¥'••• ， xi %) 在单位球面上均勻分布. 

证明下面的庞加莱 （ J . H . Poincare ) 定理成立 

lim P{v^X^\ ^x} = 

n—►cx) n 卞丄 J 


13 


^du 


e 


y/l/K 7 - 


§5. 独立随机变量之和的中心极限定理 n . 非经典条件 


在非经典条件下中心极限定理的例在§ 4 曾经证明，由 林德伯格条件 （16) 


引出条件 


2 




0 


max 


nk 
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* 


成立，而由此 可得所谓极限可忽略性条件 （亦 称渐近小性条件)， 指的是：对于任意 


> 0,有 




0 




这样，可以说，§4中的定理1和2 在极限可忽略 性的条件下，给出了独立同分 

布随机变量之和服从中心极限定理的条件.在各被加项满足极限可忽略性条件的假 
设下，极限定理习惯上称做“经典提法”的定理.然而,不难举出非退化随机变量，在 
既不满足林 德伯格条件， 也不满足极 限可忽略性条 件的情况下，仍然服从中心极限 


定理的例子. 


假设6，&，…是独立正态分布的随机变量序列，且 E & = 0 ,Dei = = 

2*— 2 , d 设& =+ • • + Cnn ， 其中 




Cnfc = 




不难验证，这里无论是 林德伯格条件， 还是极 限可忽略性条 件都不满足.然而，由于 

本身服从 E ^ = 0, D 5 n = l 的正态分布，所以中心极限定理显然成立. 

在不假设“经典的” 板限可忽略性条 件下，下面的定理1将要给出中心极限定 
理成立的充分（和必要）条件.在此意义下,下面提出的条件 （ A ) 正是§5的题目所反 

映的所谓“非经典”条件. 

2. “非经典”条件与林德伯格条件的联系 假设对于每个 n > 1,给定（“系列 

形式”的）独立随机变量 序列： 


snl •) Cti2 


n ? 


且 E^nfc = 0， D《nfc = 

< 工}， 


> o,ELi 


= 1，设 + … + ^ nk (^) 




^( x ) 


dy ^ nk ( x )= 少 






\/2tt j ^ 


^nk 


定理 l 随机变量和 


5 n AiV (0, l ) 


( 1 ) 


的充分（和必要）条件是，对于每个 e > 0, 


( A ) 


M \ F n k ( x ) -少 n fc ( x)|dx — 0 ，n 


( 2 ) 




下一个定理说明了条件 （ A ) 与经典 林德伯格条件 


(L) 


(: c ) — 0, 


⑶ 


| x |> 


之间的联系, 
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定理 


1_ 林德伯格条件保陣条件 （ A ) 成立 

( L ) > ( 八) ♦ 


2. 如果当 


时， 


n — > cx ) 


— 0, 


max 


则条件 （ A ) 保陣林德伯格条件 （ L ) 成立 


( A ) ( L ), 

定理 1 的证明. 证明条件 （ A ) 的必要性相当复杂 ([88],[91],[96]). 我们在这里仅 
证明条件 （ A ) 的充分性. 


设 


fnk(t) = Ee lt ^ k , f n (t) = Ee itSn , 

⑻， <p(t )= 


it 


e itx d ^( x ) 


^Pnk (0 




e 


由第二章§12,可见 


2 一 2 


t 


— 込 
2 


a 


( 亡 ) 


， ^(0 = 

根据 § 3 的定理 l ,5 n ^ iV (0, l ) 当且仅当对于任意实数 ip ( t),n 


e~ 


2 


e 




d 


~> oo * 


有 


n 


n 


fn(t) — = 11 / nfc ⑴- li ^ Pnki ^) 


k=l 


k—1 


由于 |/nfcWI < 1， knfcWI < 1, 可见 


n 


72 


n 


l/n ⑴— ¥^)l = fnk(t) — Wnfc(0 < |/nfc ⑴ — Wnfc ⑴ | 


k=l 


k=l 


A:=l 


n 


n 


t 2 x 2 


E 


d(-Prife -少 nfc ) = 》 : 


itx 


itx 


d ( Kfc -^ nfc ) , (4) 


— itx H —— —- 


e 


e 


2 


k=l 


k^=l 


其中用到 


k 


X k d^nk 




X 


对于积分 




itx 


d(Fnfc —屯 nk )， 

运用分部积分公式（第二章§6定理 11), 得: r 2 [l - F nk ( x ) + F nk (- x )\ 

[1 一企 nfc ( ； T) + ^nfc( — ^)] — 0，X — OC ， 


e 




2 


a 


OyX 


― ^ 


― ^ 


2 


OC, X 


t 2 x 2 


oo 


itx 


d(^nfc —少 nfc) 


— itx H —— — 


e 


2 


( e ltx - 1 - itx )( F nk ( x ) - ^ nk ( x))dx 


— zt 


⑻ 
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由⑷和 （ 5) 式,得 


n 


t 2 x 2 


|/n ⑴ — W ⑷ I < Y1 


itx 


d(F nk ^ $ nfc ) 


— itx + 


e 


2 


k=l 


n 


(e ltx - 1 - itx)[F nk (x) - ^ nk (x)]dx 




n 


3 


| a :|| F nfc ( x ) - ^ nk (x)\dx 




2 


jx| 彡 e 


k 二 1 


71 


2 


l^ll^nfe(^) -^nk(x)\dx 


+2 t 


|x|>e 


k=l 


n 


n 


(邙 l 3 H 4 fc + 2 亡 


2 


⑻ — ^ nk (x)\dx, 


⑹ 


\x\>£ 


fe = l 


fc 1 


其中用到不等式 


2 


\x\\F nk (x) - ^ nk (x)\dx ^ 2cr 

其正确性利用第二章 §6 的 （71) 式容易证明.由于 e > 0是任意的，由 （6) 式，以及 
条件 （ A ) 可见 f n (t) — 冰 )， n 

定理 2 的证明 .1. 根据§4,由 林德伯格条件 （ L )， 得 max^^ n a\ k 0. 因此， 

注意到 ELZpi ， 得 


⑺ 


nfe . 




□ 


—► oo . 


n 


2 


2 


d^nk{x ) 彡 


d ^( x ) — 0 ? Ti — oo 


( 8 ) 


x 


X 


x|>e 


2 


|x|>e/ 


max a 


fc=l 


nk 


由此式连同条件 （ L )， 可见对于任意 e > 0, 有 


n 


2 


d [ F nfc ( x ) + ^ nk { oo )} — ► 0 ,n — ► oo 


(9) 


x 


|a:|>£ 


fc=l 


对于固定的 e > 0,存在连续可微偶函数 & = A (: r ) : \ h ( x )\ < x 2 , \ h f ( x )\ < 4\ x \, 使 

a ; 2 ， 若 |ar| > 2e, 

0，若 | x | 彡2。 


h(x)= 


对于这样的函数 /i = / i ( a :)， 由 （ 9 ) 式,可见 


n 


h(x)d[F nk (x) + ^nk(x)] 0, 


(10) 


n oo 


a:|>e 


fc=l 


利用分部积分法，由 （10) 式，得 

n 广 

^ / ^(^){[1 - F nk (x)] + [1 - $ nfc (x)]}dr = 


n 


h(x)d[F n k 4 - 少 nfc] -^ 0, 






k=l 


n 


n 


h (x) (*^) H - 少 nfc(T)]dx = 


h(x)d[F nk + ^nk] 0 


X^—€ 


x^—e 


fc=l 


fc=l 
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由于当 | x | > 2 s 时 h f ( x ) = 2 x ， 可见 


n 


WPnfc ㈤ — ^ nfc(^)]dx — 0 ，n 


— 00 . 


| x |^26 


fc=l 


这样，由于 e > 0 的任意性，可见 （ L ) # ( A ) 
2. 由于 


<^nk — 0 和⑻式，对于上面引进的函数 /l = h ( x ) 7 得 


maxi ^ fc ^ 


71 


n 


n 


2 


/i(x)d$ n /j. (x) ^ 


⑽ nfc ( X ) — 0, 


( 11 ) 


X 


n —^ oo 


\x\>e 


X >s 


k=l 


k=l 


其次，由分部积分法,可见 


n 


h ( x ) d [ F nk - ^ nk ] 




fc —1 


n 


n 


h ( x ) d[{l - F nk ) - (l - ^ nk )] 


h ( x ) d [ F nk - ^ nk ] 


X ^£ 


X^—£ 


A:~l 


k=l 


n 


n 


\ h f ( x)\\(l - F nk ) — (1 - ^ nk )\dx + 




W ( x )\\ F nk - ^ nk \dx 


x^e 


一 £ 


fc=l 


fe —1 


n 


|*^| l^nfc — ^nfc (*^) |d^C 


彡 4 


( 12 ) 




fc=l 


由 （11) 和 （12) 式，可见 




h ( x ) dF n k ( x ) — 0, n — oo 


X \^€ 


即林德伯格条件 （ L ) 成立， 

3. 练习题 

1. 证明 （5) 式. 

_ 

2. 验证关系式 （10) 和 (12). 

3 . 假设 N = ( N t ) t >0 是在第二章§9的第4小节中引进的更新过程 

+ CT n ^ 其中 

^1 < oc ，0 < Da ! < 00 ,证明中心极限定理成立 


□ 


N t = 


EZiHTn^t),T n 


是独立同分布正随机变童序列 . 


= O * 1 + 


。1，内， 


* 




• • 


假设 






N t - tyr 


d 


AT (0,1), 


其中 W (0，1) 表示均值为0而方差为1的标准正态分布随机变量. 
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§6. 无限可分分布和稳定分布 


1. 在非经典条件下中心极限定理的例在§3曾经指出，为表述泊松分布，不得 
不考虑系列 形式： 对于每个 n > 1，给定随机变量序列（匕， fc )， l 彡 A : 彡 


n 


设 


(1) 


= ^n,l + * . _ + > 1 


无限可分分布概念的产生,与下面的问题相 联系: 如何描述“可以作为随机变量 
序列 { T n } n ^ l 的极限分布”的某些分布？ 

一 般讲，像问题的如此这般的提法，极限分布可以是任意的.事实上，假如《是 
某一随机变量，而 &，i = c ,^ n t fe = o(i < &彡 n ), 则 r n 三$从而极限分布就是 f 的 
分布，即分布可以是任意的. 


为使极限分布问题更富有内容，我们在这一节将处处假设，对于每个 n > 1，随 

机变量 6 x ， l ，…， € n ， n 不仅独立而且同分布. 

注意,泊松定理 （§3 定理 4) 的情况正是 这样， 独立同分布随机变量6,6,…之 
和 S n = ^ + • •■ + ^ n ( n 彡 1) 的中心极限定理 （§3 定理 3) 就属于这种情形，实际上, 
如果设 




， I >2 = T > S ny 


in 


k = 


D n 


则 


S n — E 知 


= > : Cn，k ~ 


D n 


fe —1 


这样，正态分布和泊松分布,可以视为系列形式的极限分布.如果4 r , 则直 

观上容易理解，由于是独立同分布随机变量之和，则极限随机变量 r 也应该在 
同样的意义上是独立同分布随机变量之和.因此.引出如下定义. 


定义1随机变量 : T (及其分布函数斤和特征函数 pr ) 称做无限可分的，如 
果对于每个 n ^ 1,在概率空间上存在独立同分布随机变量 

使 *) T — 




， Wn ， 


+ (或同样地使 , A = 


或 fT = ( 外 i) n )- 

注1如果随机变量 r 定义的原概率空间是充分“贫乏的”，可能出现下面的 

情况：对于任意 n ^ 1,对于某些分布函数及其特征函数分布函数 F t 
及其特征函数可以表现为巧=尸⑷ 

表达式 T 土 ％ + 

(J- L. Doob; 见 [103]): 在此概率空间上有一参数为 A = 1 的泊松分布随机变量（它 
是无限可分 的:办 =尸⑷ 

布的分布函数),但是不存在参数为 A = 1/2的泊松分布的随机变量仍和 


* 


* 


* ■ 4 


• * » 


，⑷ （ n 次）和抑=⑷⑷)' 然而 

+ 7? n 不可能.恰好有“贫乏”概率空间的一个例子属于杜布 


* 


* 


• 9 • 


* * * 


F ㈨ ， 其中 F ⑷是对应于参数为 A = 1/ n 的泊松分 


12^ 


*) 记号1 4扩表示随机变量 e 和7?依分布相等（相合)，即 F ^{ x ) = F v ( x ), 其中 F e ( o :) 和 Fr . ix ) 
是《和7/的分布函数. 
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考虑到以上的结果，需要强调，上面的定义1实质上不明显地假设，原概率空间 
己经充分“丰富”.为避开杜布所指出的缺陷（练习题11)，原概率空间已经足够“贫 


乏，， . 


定理1 随机变量 r 可以是和 r n = 的依分布收敛的极限，当且仅 

当 r 无限可分. 


证明如果： T 无限可分，则对于每个 n > 1，存在独立同分布随机变量 

+ 匕, n ， 即 T = T n ^ n ^ 1 . 


Cn ， n ， 使 r 4 

相反，假设 T n 4 t . 我们现在证明 r 无限可分，即对于每个存在独立同 


+ 


1 


■ * • 


d 


分布随机变量仍，…，取，使 T 


m + — 

固定某个 /e > 1，并将变量 T nfc 二 ESi 表示为 Ct +…+ d " 0 ，其中 


( n ” = € nfc . 


’…， Cl ) — ^ nk , n(k 


1 + • 1- ^ nk . n ^ 


1) + 1 + … + ^ nk,nk 




由于几 ' T，n 

普罗霍罗夫定理知，随机变量 T nkj n ^ l 的分布函数序列稠密 （§2). 其次，有 

[P{d 1} >4] fc = P{Ci 1) 


可见随机变量 T nk ， n > l 的分布函数序列相对 列紧； 故根据 


00 , 


-X [ n k) > z }^ P { T nk > kz } 


> 2 , * 


和 


[ PKi 1 ) < -41 

由这两个不等式和 T nk ,n > 1的分布族的稠密性，可见 Cn\n ^ 1的分布族的稠密 
性.因此，存在子序列 {nj C { n } 和随机向量 (77!,--• ,%),而不失普遍性可以认为， 

定义在原（“丰富概率空间上，并且 


k 


P { Ci ” 


< — 心…， Cf ) < — 4彡 P{Tnk < ^ kz } 


(#), … ， cg )) 土 ("1， …，巧 fc ), 


或者等价地,对于任意 Ah • • • ， Afc € 1 R ， 有 




Ee i(Xl 


"i+-“+A 陳） 


Ee 


由随机变量，_■•，（$独立，可见 


Wi u + … + AfeCi ')) 


o ) 


^AiC 


iXkC 


e iXl7)1 ..-Ee 2 XkVk 


Ee 


> =Ee 


• • • Ee 


EeMAim + …十入⑽ ) 


Ee Ul?71 - - . Ee 2Afc??t , 


而由第二章 §12 定理4知随机变量 mnn 独立 • 同样显然，它们有相同的分布. 


此外, 


d 


Tn :i k = Ci； } + . 


Ak) 


+ 


m + … + 取， 


— 


* » 
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同样，有土: T . 于是（练习题1)，得 


d 


r =仉 + …+ r? fc 


□ 


注2如果将这一节开始的条件：对于每个 n > 1，随机变量^，1，… , Cn , n 同分 
布，换成它们满足 渐近小 maxi ^ fc ^ n P {|^ nfc | > e } = 0的条件，则定理的结论仍然成 


立, 


随机变量无限可分的充分和必要条件为验证给定的随机变量 r 是否无限 

可分，最简单的是考察其特征函数的形式.如果对于每个 n ^ l , 存在这样的特 

征函数使 WO =卜⑹ 71 ，则 T 无限可分. 

对于髙斯分布的情形， 


參 


2-2 


a 


e rtm e 


= 


2 


若设 


2^2 




^ n { t ) 


2 


e 




M <p{t) = [^ nW ] n * 

对于泊松分布的情形， 


^{t) =e A(e “— 


若设 




fn ( 亡 ) 


e 




则 y ?( t ) = [<p n (t)} 

如果随机变量 r 服从 r 分布，其密度为 


n 


X 


a— 1 


e — 頁 


x 


，若 a : > 0, 
若 x < 0, 


/ ⑻ 


r(a)/3 


a 




0, 


则（第二章§12表2 - 5) 其特征函数等于 


冰) 




(1 - i 0 t) a 


从而，(^⑴=[〜⑴] n ， 其中 


V ^ n (0 = 


(1 — 利 0 ’ 


说明： T 无限可分. 

我们（不加证明）引进如下关于“无限可分分布的特征函数一般形式”的一般结 


果 
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定理2 (柯尔莫戈洛夫-列维-辛钦） 随机变量 r 无限可分，当且仅当其特 
征函数具有形式 < p ( t ) 二 exp 0⑴，其中 




2 


itx 


1 + x 


itx 


^(t) = up 一 


dA ( x )， 


( 2 ) 


1 


e 


1 x 2 

而彡 0,A 是 （ R, 方 (]R)) 上的有限測度，且 A ⑼ = 0. 

3. 稳定随机变量设6,《2,…是独立同分布随机变量序列，且& = 6 + 

匕.假设存在这样的常数 b ny a n >0 和随机变量 r ， 使 

S n — h n 


2 


2 


x 


+ 


d 


T . 


(3) 


a 


试问如何描述 （3) 式中随机变量 r 的全部可能的极限分布? 

如果对于独立同分布随机变量6,6，..，有0 


2 


= D^x < oc, 并且设= 

V ^， 则由§4可见，随机变量: T 服从标准正态分布 AT (0,1). 


< a 


nE^i 而 


an = cr 


如果 


e 


/ ㈤ = 


7r(x 2 + ^ 2 ) 

是参数为0 > o 的柯西分布密度，而6,6,…是密度为/( X )的独立随机变量,则其 

特征函数为 (t) = e_ 卟 1 ，而 


( eUd ) 


-卟 I 

5 




= e 


因此随机变量 S n / n 服从柯西分布（分布参数仍然是的， 

这样，作为极限分布，除了正态分布之外，还可能有其他分布（例如柯西分布) 


设 


Sn — b n 


bn 




— ( T n ), 其中 = — 


—, l ^ k^n 


a 


fc=l 


于是,对于 r ， 一切可以意料到的，可以作为极限分布⑶式出现的分布，（根据定理 
1) 一 定是无限可分分布.不过所考虑的随机变量7； = (& - b n )/a n 的特点，为这里 
可能出现的极限分布的结构，可能提供了得到补充信息. 

为此（并考虑到注 1), 我们引进如下概念. 

定义 2 随机变量 r (及其分布函数 F ( x ) 和特征函数 ifit )) 称做 稳定的 ，如 

0, b n , 和与 T 同分布的独立随机变量 


果对于任何 n > 1,存在这样的常数 

6，...， 匕，使 


> 


d 


a n T + b n = + …+ 《 n ， 


(4) 


或同样地 


) 


x - b n 


F(x ) 或 \<p(tT = \<p(a n t)\e ib - 


F 


= F * * 


⑹ 


* 


* * 
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定理3 随机 变量了 可以是随机变量 

Sn — b n 


，> 0 , 


a 


n 


按分布收敛的极限，当且仅当 r 是稳定的， 

证明如果 r 是稳定的，则根据 （4) 式 

S n - b n 




d 


d 


，从而 


T = 




a 


a 


n 


n 


其中 + … +《 n . 

相反，假设 •• 是独立同分布的随机变量序列，& 6 +…+ ^,且 

Sn 一 b n 


d 


T, a n > 0 . 


a 


n 


现在证明 r 是稳定随机变量. 

假如: r 是退化随机变量,则它显然是稳定的.因此，我们将假设： r 是非退化随 


机变量 


固定 A ： 彡1,记 


处) 


c ( fe ) — 

， *->n — 

… T ⑻ = 

^ ? ± n 


= +-^ ( n ， … 

成 1 ) - b n 


6 i ( fc - 1)+1 H - H 

S { n ] - b n 


Ti X) 


n 


a 


a n 


n 


显然，所有随机变量对 1 〉 ，… M k ) 都同分布,且 

7 1 ⑷土 T 




n — 00,2 = 1, 


记 


吣 fc )=7^) + … + 7i fc ) 


那么，同定理1的证明一样，可得 


4 刃 ⑴+ .,* + _)， 


其中 r ⑴ (1 ^ i ^ k ) 独立，且 r ⑴= 

另一方面， 


= T ⑻ — T 


^1 +- 1 - Okn — kb n 


Ui k) = 


n 


a 


n 


a kn f + • • • + 6tn — hn 


6 fcn — kb n 




^kn 




H + f ， 


⑹ 


=a 
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其中 


bjcn ~ * kb 




(k) - 


a 


a 


a 


而 


6 + …+ — 知 




^kn 


由 （6) 式可见 


U { n k) - ( 3 ( n k) 


V k 


(fe) 


a 


T ， U 俨太 T ⑴ 

由下面的引理知,存在常数 a (fc) > 0和 p ⑻，使 


d 


其中 


+ T ㈨ 




^ 00 


■ 噚 


⑻ 


a ( fc ) ，此) — 


a 


, n — go , 


而 


7^1) + … +7 Hfc ) — ^( fc ) 


d 


T — 

从而,随机变量 T 的稳定性得证 

引理设土 （ 且存在常数 a n > 0和 6 n ， 使 


(fc) 


a 


□ 


d 




而且€和《都是非退化随机变量.那么，存在常数 a >0 和6,使 Iima n = a ， lim 6 


且 


d 


€ 士 畎 + 6. 

证明设 am 和泛相应为和 f 的特征函数.那么， a n C „ + b n 的特征函 

数 Pa ‘ + bjt ) 等于 e itb ^(p n (a n t). 根据定理1的系，以及§3的练习题3,有 


itb 


l ( Pn ( d n t ) < p ( t ), 

Wnit ) — 


⑺ 


e 


⑻ 


其中收敛性为在 t 的每一变化区间上一致收敛. 

设 {&)• 是使 

(7) 式可见，对于任意 c > 0， 


m {n} 的子序列，我们首先证明 


假设 


由 


a < oo . 


(Xry j > Cb 


a — CO 


sup \\^ pn (^ nt )\ — 1^(011 -^ 0，n —> OO 


t \< 


将 t 换成 f ni = to/a ni . 那么，由于 


可见 


drt ~ > (X 


— 00 , 


亡0 


亡 0 


0, 


I a rii 




因而 


⑹ I — 例 0)1 = 1 
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* 


然而 | 外咖 )| — |^o)|- 因为对于任意 6 e R ， \(f(t 0 )\ = 1, 故根据第二章 §12 定理 

5, 随机变量应该是退化的，而这与引理的假设矛盾 . 

这样 a < oo. 现在假设存在两个子序列 {rii] •和 {O, 使 a ni 
中 a # a' ( 为确定性，设 0 ( Y < a). 那么，由⑺和 （ 8) 式，可见， 


心其 


a , 








和 




故 


I# ㈣ I = l#(A)l ， 


从而，对于任意 t e R ， 有 


(m 


a 


i^(^)i = 


l，n —> oo 




<P 


a 


因此 I^Wi 三 1 ，而根据第二章 §12 定理 5, 由此可见 € 是退化随机变量.所产生的矛 
盾说明 a = a' ， 而这表明存在有限极限 lima 


并且 a > 0 


= a ， 


现在证明，存在极限 lim b n = b, 并且 a > 0. 由于 （ 8 ) 式在每个有限区间上一致 


成立，故 


因而，由于⑺式可见 , 对于所有使 ip (at) / 0 的《，存在极限 lim n e itbn . 设 <5 > 0 ,使 
得对于 一切 ㈨ < 有 ip(at) / 0. 那么，对于这样的 i ， 存在极限 lim #、 由此可见 

( 练习题 9) lim|6 n | < oo. 

假设存在两个子序列 { 叫 } 和 {n(}, 使 lim b ni = 6 和 \imb n ^ = b'. 那么，对于 

\t\ < \ 有 X 


itb 


itb 


从而 6 = R 于是，存在有限极限 lim b n = b, 而根据⑺式 , 


m 二 ㈣ ， 


d 


说明甿 + & 由于（非退化，可见 a>0 

4. 稳定分布特征函数的一般形式我们现在（不加证明）给出穗定分布特征函 
数的一般形式 . 

定理 4 (列维 - 辛钦表现）随机变量 r 是稳定的，当且仅当其特征函数#⑷ 

具有⑴ - exp^(t) 的形式，其中 




ip(t) = itp — d\t\ 


1+ 访 G(t ， a) ， 


⑼ 


\t\ 
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其中0 < a < 2，/3 e ! R，cJ 彡0, |0| 彡 1，且当 t = 0时 t /\ t \ = 0,而 


7T 


若 a # 1， 


tan — a , 


G(t ， a) 


(10) 


2 


—In 卜 |，若 a = 1 


7T 


我们指出，对称稳定分布的特征函数的结构特别简单 


-d\t\ a 




( 11 ) 


= e 


其中0 < a 彡2, d 彡 0. 

5. 练习题 

1. 证明，如果& 4《和 如土 ??，则《4 

2 . 证明，如果 A 和仰 是两个无限可分特征函数，则外 X 抑 也是无限可分特 


V ， 


征函数 


3 -设％是两个无限可分特征函数，且对于每个 f G 見仏⑷ — 冰)，其中冰) 
是一特征函数.证明^⑴无限可分. 

4. 证明，无限可分分布的特征函数不等于 0. 

5. 试举一例，随机变量是无限可分的，但并不是稳定的. 

6 •设 f 是稳定随机变量，证明，对于一切 r e (0， a )，0 < Q < 2，数学期望 




< oo 


7. 证明，如果 （ 是参数为0 
t = 0 不可微. 

8. 直接证明，函数一⑷=是特征函数，其中0 < a < 2 ,rf 彡 a 

9 . 设 { bn } n^i 是一数列，满足条件:对于一切阂< A J > 0,极限 lim 

? E . 证明 Hm n |6„| < 

10. 证明二项分布和均匀分布，都不是无限可分分布. 


< 1的稳定随机变量，则其特征函数以在 


< a 


itb 


存 


e 


oo 


11. 假设分布函数 F 及其特征函数 p 可以表 示为： P ⑻ 

b ⑻ ]' 其中 F ( w ) 是某一分布函数，而 ^ 1) 是其特征函数.证明存在（充分 
“丰富”的）概率空间风， P ) 和定义在它上面的随机变童 r 和 


F( n )(n 次)， 






4 * • 


满足 


T 洼 #) + …+ 者 )(n>l) 


( T 服从分布 F ， 而 Vu …， Vn 独立同服从分布 F ⑻)_ 

12- 举一随机变量的例子，使之本身不是无限可分的，然而其特征函数仍然不等 


于0 
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7. 弱收敛的“可度量性 


关于弱收敛的可度量性设 ( E 兄 P ) 是度量空间 ，而 少 ( E ) = { P } 是 （五 ，家) 

上的概率测度族.自然地提出问 题:在 §i 中所考虑的弱收敛 仏二 尺是否可以“度 

,即是否可以在 ，( E ) 中的两个测度戶和之间，引进这样的距离 S ( P , P ), 使 

收敛性 S ( P n , P )^0 与收敛性 Pn ^ P 等价. 

鉴于上面提出的问题，有意地指出，随机变量序列依概率收敛^二 f 可以度 




5? 


量化，例如，借助距离 


dp(^,r]) = inf{£ > 0 : P{|f — 切 > 4 ^ £ }^ 


或者，借助距离 


1(1 


??) = E min(l, |《一 7 /|)， d(e^ r/)= 


1 + R — 7? 


(更一般地，可以设 d ( Cv ) = 其中函数 g ( x ), x 彡0, 可以取在0连续的 

任意博雷尔非负递增函 数：当 


0时 g ( x ) > 0，0(0) = 0,且对于一切 x ^ 0 ,y ^ 
0, g ( x ^ y )^ g ( x )+ g ( y ).) 然而,对于在 （n，，,P) 上的一切随机变量的空间不存在 
这样的距离 d (^ 77), 使得当且仅当 ^依概率1 收敛于€时叫心，0 — 0. (这很容易 

证明:只需考虑依概率收敛，但是不依概率1收敛的随机变量序列 ^ n ^ h ) 换句 

话说,依概率1收敛不可度量化.（见第二章§10中练习题11和2的命题 .） 

这一节的目的，是在指出度量 （L(P， 巧和 \\ P ~ P \\* BL ) 的 同时， 在测度妒 (£) 的 

空间中，建立弱收敛的可度 量性： 


X > 


Pn^P<^ L(P n) P)-,Q^\\P n - P\\^ bl ^ 0 


( 1 ) 


列维-普罗霍罗夫度量 L(p ，戶） 设 


p(x， 乂） = inf { p ( x , y ) : A }, 

A € = { xeE ： p ( x , A ) < e }, Ae ^ 


对于任意两测度 P,PE 妒(皮)，设 

< t { P , P ) = in{{e > 0 : P ( F ) ^ P (尸） + e , 对于一切闭集 S}， 


( 2 ) 


和 


L(P, P) — max{a(P, P), a(P, P)} 

下面的引理证明，这样定义的所谓 列维-普罗霍罗夫度 量函数 L(P,P),P,P 

确实是度量. 


(3) 


E 
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引理1 函数 L ( P ， P ) 具有距离的 性质： 

a ) L ( P y P) = L ( P , P )(= a ( P , P )- 

b) l(p, p ) ^ l(p, p ) + (t(p, n 

c ) L ( P , P ) = 0, 当且仅当 P = P . 

证明 a ) 只需证明，对于 a > 0,/3 > 0, 


P ( F ) ^ P { F ^)^(3, 对于一切闭集 Fe ^ 


⑷ 




当且仅当 


P { F ) ^ P ( F a ) + /3 ? 对于一切闭集 F G 


(5) 


w 


设 r 是$中的闭集.那么，尸是开集，则不难验证 r g e \( e \ t°t • 如果⑷ 

式成立，那么，特别 


P { E \ T a ) ^ P (( E \ T a ) a ) + /3, 


从而 


P ( T ) ^ P ( E \( E \ T a ) Ck ) ^ P ( T a ).+ /5, 
因此,说明 （4) 和 （5) 两式等价.由此可见 


a(P,P)=a(P,P), 


⑹ 


于是， 


L ( P , P ) = < r ( P y P ) = a ( P , P ) = L ( P ， P ). 

b ) 设 L ( P , P) < 6 1} L ( P , P )< S 2 . 那么，对于每一个闭集度，有 

P(F) ^ P ( F 52 ) + 5 2 ^ P{(F 62 ) 6 ^) -^S 1 +S 2 ^ P(F Sl+62 ) + & + 心， 

于是， ^ <5 i + 82 * 由此可见 


⑺ 


L ( P , P )^ L ( P , P ) + L ( P , P ). 

) 如果 L ( P , P ) = 0, 那么，对于每一个闭集 Fe 客 和任意 a > 0,有 


P ( F ) ^ P ( F a ) + 

h 

由于 F a | F , alO , 则由⑻式当0时求极限，得 P ( F ) ^ P ( F ); 由对称性， 
有 P ( F ) ^ P ( F ). 这样,对于一切闭集 FeST ， 有 P ( F ) = P ( F ). 对于每一个博雷尔 

和任意£>0 ,存在这样的开集 Q 4和闭集炅 g A 且 P ( G e \ F e ) < 
由此可见，度量空间（五，皮, p ) 上的任何概率测度完全决定于 P 在闭集上的值. 
从而，由对于一切闭集 F e 皮,有 P ( F ) = P ( F ). 于是,对于一切博雷尔集4 € $有 

P ( A ) = P ( A ) 


⑻ 




□ 


弱收敛的“可度置性 
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定理1 列维-普罗霍罗夫度量 L ( P ， P )、 可以使弱收敛度量化 


L(P n ,P)-^O^P n 


⑼ 


P . 


证明 （#)• 设 L ( P n ， P ) — 0 ，n 

何 s > 0,根据 （2) 式和引理1的命题 a )， 有 


那么，对于任意固定的闭集 F €罗和任 


— oo 


limP n { F ) ^ P ( F e ) + £ 


( 10 ) 


在上式中令 e 丨 0, 得 


limP n ( F ) ^ P ( F ) 


根据§1的定理1，可见 


Pn ^ P ^ 

(<= y 蕴涵关系(告）的证明，基于一系列深刻而有益的事实，它既进一步揭示弱 

收敛本身的内容,又阐明其构建方法和研究收敛“速度”的方法. 

这样，设八 工 P - 这表明对于任意连续的有界函数/ = f ( X )， 有 


( 11 ) 


/ f ( x ) P ( dx ) 

Je 

现在假设貧是某 一 等阶梯函数0 = g ( x ) 类（如果对于一切 P G 罗 7 ，有 p ( x , y ) 

在，则对于任意 e > 0存在6 > 0,使 \ g ( y ) - g ( x )\ < e ), 使得对于同 一 常数 C 7 > 0,( 对 

于一切 xQEmge ^)\ g ( x )\ < C . 根据§8定理3,对于函 数类罗 性质 （12) 的如 

下条件 成立： 


f ( x ) P n ( dx ) 


( 12 ) 


E 


< 


f g ( x ) P n ( dx )- f 
Je Je 


P n P ^ sup 

9 沒 


^( x ) P ( dx ) —► 0 


(13) 


对于任意 4 ^ 和 e > 0,（如同 §1 定理 1) 记 

p(x ， 4) 


f %( x ) 


1 一 


(14) 






显然 


Ia { x ) ^ f %{ x ) < I A -( x ), 


(15) 


且 


I/S ⑷— G-XxM) — p(y ， 4)| 

这样，对于类 f = {/ A ( x)，A € 爹}，有 （13) 式.因此， 


△ n 三 sup 


/ i ⑻ Pn ( dx )- / fX { x ) P ( dx )\ ^0 7 n 


(16) 


—► OO 


\JE 


E 
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由此及 （15) 式，可见对于任意闭集篆和£>0,有 


P ( A ^) > / r A ( x ) dP ^ / r A ( x ) dP n ^ A n ^ P n ( A ) ^ A 


(17) 


E 


E 


选择 n ⑷使对于一切 n > n ( e ), 有 A n 彡 e . 那么，由 （17) 式，对于 n 彡 n ( e )， 有 


P { A e ) > P n ( A ) - 


(18) 


由此及定义 (2),(3) 式可见，当 n > n ⑷时，有 L ( P n , P )^£. 于是, 

P n ^ P ^ A 


0=>L(P n ,P) 


0 


― > 


定理（精确到 （13) 式的命题）得证 




度量 ||P-P|| 


以表示一切连续有界函数/ = f ( x),xeE 的集合， 

|/( x )| < oo , 而且每一个函数/ 二 /(: r ) 都满足利普希茨 条件： 


BL 


彆 


其中11/11 


= sup 


1/ ㈤ 一 /( y)l 


l/lk = sup 


< oa 


p (工， y) 


X 办 


设 WIWbl = ||/lloc + II/IIl. 以 II _ IIsl 为范数的空间 sl 是巴拿赫空间. 

定义度量||/>-戶||^，其中 


{1/ 


\P~P\\bl 


fd ( P ^ F ) :\\ f\\ BL ^l 


(19) 


sup 

feBL 




(可以验证， || P - P ||^ 事 f 上满足对于度量提出的一切 要求; 练习题 2.) 

度量 \\p-pr BL 可以使弱收敛度量化： 

\\Pfl ~ ^11 RL ^ 0 P n P. 


定理 


证明由 （13) 式立即得蕴涵关系(^).为证明 （今） 只需验证,在弱收敛的定义 
中, P „ ' P 就是对于任意有界连续函数/ = f ( x) t 满足性质 （12) 式，故只需局限于 

考虑满足利普希茨条件的有界函数类.换句话说，如果能证明下面的结果（引理)，则 
蕴涵关系（^)将得到证明. 

弱收敛 


引理 


P 成立，当且仅当性质 （12) 对于 BL 类的任何函数 


/ = f ( x ) 成立. 

证明引理的一个方面的证明显然.现在考虑由 （14) 式定义的函数 /I = r A ( x ). 
在证明定理1时已经证明，对于任意 e > 0 ,f = { f %( x),A e^}C BL . 如果现 
在分析 §1 的定理 1 中蕴涵关系 (1)^(1) 的证明，就会发现，在证明中实际上并非 

对于一切有界连续函数用到性质 (12), 而只对于类 (e > 0) 中的函数用到.由于 

^ CBL , s >0, 则显然由性质 （12 ) 对于类中的函数成立，可见§1 定理1中命 
题 H 的结论成立,而后者（仍然因为§1定理 1) 等价于弱收敛 P n ^P 
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唪 


* 


注.定理2的结论可以由定理1推出（反之也一样)，假如利用（对于可分度量 

空间（丑， ， p ) 成立的）戶)和 \\ p ~ pr BL 之间的如下不等式： 


BL (2L(P ， P), 

其中 ( f ( x ) 


( 20 ) 


2x 2 


^(L(P,P))^ ||P-P| 


( 21 ) 




SL ， 


2 x 


注意到，对于 x > 0,0 < ip(x) ^ 2/3, 当且仅当 : r < 1 ， 且对于 0 < x < l y <p{x) > 

_ 

2 P /3; 由 （20) 和 （21) 式， 可见: 如果 L(P, P) 彡1或 ||P — 戶 H < 2/3,则 

L 2 (P,P)^\\P^P\r BL ^2L(P,P) 


2 


( 22 ) 


3 


4,练习题 


K 时概率分布 P 和 f 之间的列维-普罗霍罗夫度量 L ( P , P ), 

不小于对应于 P 和戶的分布函数 F 和 F 之间的列维距离 L ( F , F ) (见§1练习题 
4). 举例说明这些度量间的严格不等式成立. 

2. 证明公式 （19) 在决定空间中的度量. 

3. 证明不等式（ 2 0)( 2 1)和 (22). 

4. 设厂= F ( x ) 和 (7 = G ( x ) 是两个分布函数， P c 和 <^ c 是它们与直线 x + y = c 
的交点 • 证明列维距离 L (巧歹 ）（ 见§1练习题 4) 


^cQc 


L(F y G) = sup 


其中 PcQl 表示点巧和 g c 之间的线段的长度. 

5. 证明，一切分布函数的集合，关于列维距离的是完备空间. 


§8. 关于测度的弱收敛与随机元的几乎处处收敛的联系（“一个概率空 

间的方法”） 

I - 

随机元收敛性的定义 假设在概率空间上给定随机元 X = X ( w ), 
X n 二 X n ( x),n > 1，而 ( E , p ) 是随机元的值 空间； 参见第二章§5.记 P 和仏是 

X 和的概率分布，即设 




P(A) = P{o ;： X{u;) e A}, P n {A) = P{u ： X n (cj) eA},Ae^. 

_ 

推广随机变量依分布收敛的概念（见第二章 §10), 引进下面的定义. 

定义 1称随机元序列 x n ,n ^ 1为依分布收敛或依分布律收敛的（记 号: 

X), 如果八 ' R 

仿照随机变量的依概率收敛和依概率1收敛（第二章§10)，下列定义是自然的. 


缀 


二 X ，或 S X ，或 x n 


Law 
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定义 2 称随机元序列 X n ,n > 1 依概率收敛于 X (X n & X), 如果 

P { o ; : p ( x n ( uj ) , X ( u )) > e } 

定义3 称随机元序列 X n ， n 彡1, 依概率1 (几乎必然或几乎处处）收敛于 

_ 

X ( X n ^ X , X n ^ X ), 如果 p ( X n ( ij ), X ( uj )) 土 0 ,n — oo . 

注 1 当然，只有在 p { X n { uj ), X { uj )) 作为 u ; G 的函数是随机变量时，即当 
fi(X n (u;),X(u;)) 为资-可测时，最后两个定义才有意义.当空间 (F, p) 可分时，这 
当然成立（练习题 1). 

注2关于定义2需要指出，引进的依概率收敛性，可以由下面的（定义在 

( fi ,，， P ) 上、取值于 £* 的； 练习题 2 )随机元 X 和 Y 之间的范基 （Fan Ky ) 度 

量（练习题 2) 


(1) 


0, n 


― y 


d P ( X , Y ) = ini {£ > 0 : P { p ( X ( u ;), Y ( u ;)) ^ e } ^ €} 


( 2 ) 


来度量化 


注3如果依概率收敛和依概率1收敛的定义，要求随机元定义在同一概率 

空间上，则按分布收敛的定义 I X ，只与分布的收敛性有关，从而可以认为 

X ( u ;), X 1 ( uj ), X 2 ( u ;) r - 在同一空间五上取值，不过可能给定在 “各自的” 概率空间 
( fl , J ^, P ),( n 1 ,^ 1 , P 1 ),( n 2 , J ^ 2 , P 2 ),... ±. 然而不失普遍性，如果作为上述各空 
间的直积，并且定义 X ( u , U U U ) 2 ^-) …） = X x ( o ； i ),... ,则总 

可以认为它们定义在同一个概率空间上. 


按分布相等的随机元根据定义1和在勒贝格积分中变量替换的定理（第 
二章§6定理7)，对于任意有界连续函数/ = f ( x),x G £：，有 




X n —X 分 E 肌） — f(X). 

由 （3) 式可见，根据勒贝格控制收敛定理(第二章§6定理 3), 由收敛性 

X ， 立即可以得到^ X . 因此，显然对于 X 和是随机变置的情形，有同样 

的结果（第二章§10定理 2). 更意想不到的是，在某种意义上有相反的结果.下面就 
给出其确切的提法，然后讨论其应用. 

定义 4 设随机元 X = X(u f ) 和7 = Y(u; ,f ), 分别定义在概率空间 
和 , P 〃） 上，取值于同一空间五.如果 X = X{u f ) 和 K = Y(u f, ) 有相同的 
概率 分布，则称之为按 分布为相等的（等价的或相 合的； 记作 

定理 1 假设 (E ， & \ P ) 是可分度量空间. 

1. 设随机元 X,X n (n ^ 1), 定义在概率空间 （ Q ，，， P) 上，取值于五中，且 

x . 那么，存在概率空间和定义在该空间上且取值于五的随机 
元 X *， K ( n > l )， 使 


(3) 


a.c. 


x n 


a.c. 


x\ 
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且 






= X , X 

2 .设 P , P n (n > 1) 是 ( E ^, p ) 上的概率測度， 且 P n 1 P . 那么，存在概率空 
间和定义在该空间上且取值于丑的随机元彡1)，使 


Tl ^ 1 




a*c. 


x *， 


且 


P* = p ， K = Pn 、 n 彡 1 ， 


其中 P 和/^ 是 X * 和 JQ 的概率分布， 

在证明定理之前,我们指出：第 一 ，只需证明命题2;因为,如果把 P 和八取作 
X 和 X „ 的概率分布，则命题1可以由命题2得到.第二，需要指出，这一定理最 
一般情形的证明技术上相当复杂.正因为如此,我们仅对 E = R 的情形证明该定理. 
这一证明相当简明易懂,并且为所求对象给出了简单描述性构造.（美中不足的是，这 
—构造在一般情形下，甚至对于 E = U 2 的情形,并不“适用 

定理1的证明 （五 

( M ,^( R )) 上的测度 P 和八的分布 函数； 而是 Q = Q ( u ) 与函数 F = F ( x ) 相 
联系的分位函数，唯一地决定于如下公式 


的情形 )_ 设 F = F ( x ) 和风 = F n { x ) 是 对应于 




Q ( u ) = inf{x : F ( x ) > u }, 0 < u < 1 


⑷ 


不难验证， 


F ( x ) ^ u Q ( u ) ^ x 

现在考虑 fr = (o,i), ^( x ) =及 (o,i), 而 p* 是勒贝格 测度: p *( dw *) = du 

设 x *{ oj *) = e 那么， 


(5) 


P *{ oj * : X *( uj *) : < x } 二 r *{ u > 

即所构造的随机变量 = Q ( u *) 的分布恰好是 R 类似地，随机变量 X *( uj *) = 

Qn ( UJ *) 的分布恰好是 iV 

其次, 并不复杂地可以证明，由在极限函数 F = F ( x ) 的每个连续点上, F n { x ) 收 

敛于 F { x ) (对于 E = R 的情形,等价于 A P ; 见§1的定理1)，可见分位函数序 

列 Q n ( u ), n ^ l , 在极限函数 Q = Q ( u ) 的每个连续点上，也收敛于 Q ( u ). 由于函数 
Q = Q ( u),ue (0,1), 最多有可数个间断点，则其勒贝格测度 P * 等于 0. 因而 

Q n { u *) 

定理1 (对于 K - R 的情形）得证. 

定理1所描绘的，由给定的随机元 X 和义„，向定义在同一概率空间上的新随 

机元 X * 和 ％的过渡，说明了本节的标题中的名称 “一 个概率空间的方法” 的含义. 

现在利用这一方法,可以比较容易地证明一系列的命题. 


< =尸(尤), 


a.c. 


X ^(^) = Q (^) 


□ 
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3. —个概率空间方法的应用假设 X , X n (n ^ 1) 是定义在同一概率空间 

义， P ) 上，在可分度量空间 (E 兄 p ) 中取值的随机元，且^ X 设 /I = h ( x ), x € 

五，是 ( E 兄 P ) 到另外一个可分度量空间 ( E 、#， P ') 上的可测影射.在概率论和数 
理统计中，常遇到这样的问题：在 /* =九⑻满足什么条件时，由收敛性 X n ^Xn 

以得出收敛性 h ( X n ) ^ h ( X ). 

例如，假设 6,(2,... 是独立同分布随机变量，且 E 《1 = m , D^i = a 2 > 0,而 
((l + ."+€ n )/ n . 由中心极限定理，可见 

y/nix n - m) 


X 




d 


AT(0 ， 1) 


问对于什么函数 /i = h ( x ) 可以保障 

y / n ( X n - m ) 


d 


h 


寧(0，1))? 


a 


(对于连续函数 /i = / i ( x ) 肯定可运用著名的曼- 沃尔德 [ H . B . Mann - A . Wald ] 定 

理，因此立即 可得： 


n ( X n — m ) 


d 


Xi ， 


其中 X ? 是自由度为1的 X 2 分布随机 变量; 见第一章§3表1 - 2.) 

另一例子.如果 X = X ( t , u ), X n = X n ( t , uj ), teT , 是随机过程（见第二章§5)， 


而 


K x ) = sup \ X ( t , uj ) lh ( X n ) = sup \ X n ( t , u ;)\, 


tGT 


ter 


则上面所提问题 表示： 在什么条件下由按分布过程收敛 x n ^ x , 可以得出其上确 

界按分布收敛 h(x n ) ^ h(x)? 

保障蕴涵关系 




m 


X 4 h ( X n ) ^ h ( X ) 

的条件之一是，影射 /I = / i ( x ) 连续.事实上,如果/ = f ( x f ) 在 £/上是有界连续函 
数，则/ = /( M 4) 在五上也是有界连续函数.从而 


X n 




X n -^ X ^ Bf ( h ( X n )) ^ Ef ( h ( X )) 


下面的定理表明,考虑到极限随机元 X 的性质，对于函数 /I = / i ( a ；) 连续性的要 
求可以进行一定减弱. 

记△/^ = { a ; e 五： h ( x ) 在点: C 处不-连续 }, 换句话说，设 △/ i 是函数 h =办⑷ 
的间断点的集合.注意 G 豕（练习题 4). 


§8. 关于测度的弱收敛与随机元的几乎处处收敛的联系（“一个概率空间的方法 
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纛 




1,设（五 ，度， p ) 和（五/,#， 〆 ）是可分度量空间，且 x n 


定理 


x , 而影射 


h = h ( x)^x e E , 满足条件 


P { o ? : x G Ah } = 0. 


⑹ 




那么， / i ( X n ) 二 

r 

2 .设 P , P n {n ^ 1) 是可分度量空间 ( E ^, p ) 上的概率测度，且 巧 A 尸，而 
h = h ( x),x G 五， 是 （五, f , p ) 到可分度量空间 （於，'， 〆 ） 的可测影射.假设 


P{x : x G A ^} = 0 


那么，坨 ' 炉，其中 P ^( A ) = p n { h { x ) e A }, P h ( A ) = p { h ( x ) eA},Ae r 


证明 像定理 l 一样，例如，只需证 明命题 l , 

设;^和 X*(n ^ 1) 是用 “一 个概率空间的方法”建立的随机元,且满足； T — 

记 




ax 


X,X*=X n (n^l),X 


=: p ( X ^ X ^)^0 l = { a ;* : X ^(^) G A n } 


A 


那么， P * (肀 UB *)=0 且对于 w * ^ 


而这说明 h ( X *) ^ h { X *). 在第 1 小节已经指出，由此可见 h ( X ^) ^ h ( X *). 由 

于 h ( x *) =£ h(x n ),h(x*)=S h ( X ) ； 可见 h ( x n ) ^ h ( x ) 

j 

_ 

4. 完成 §7 中 （13) 式的 证明在§7证明定理1的蕴涵关系（七）时，曾经用 

到性质 （13). 现在进行 （13) 式的证明，仍然借助“一个概率空间的方法”. 

设 ( E 尤 P ) 是可分度量空间 ，穸 是等阶梯连续函数 p = P ( a 0 类，满足 性质： 对 

于一切 xeE，ge 罗 和某个常数 C ， 有 |^( a :)| < C . 

定理 3 设 P , P n (n > 1) 是 上的概率測度，且」％尸，那么 


□ 


/ g ( x ) P n { dx )- f 

v E %f E 


5(x)P(da;) — 0, 


⑺ 


sup 


n —> oo 


9^ 


证明 设⑺式成立，则存在 a >0 和函数 g u g 2 , … G 货，使 对于无限多个 n ， 有 


9 n ( x ) P n ( dx ) - / g n ( x ) P ( dx )\ 彡 a > 0, 


⑻ 


E 


E 


将 “一 个概率空间的方法”用于随机元 X * 和 M (见定理1)，可以将 （8) 式 写成： 对 
于无限多个 n ， 


|E^ n (X ； )^E* 5n (X*)|^a>0 


⑼ 
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由于类妒的 性质，对于任意 s > 0,存在 J > 0,当 〆 : r , y ) < 5时，使对于一切 gG % 
有 \ g ( y ) - g ( x )\ < ^此夕卜，对于一切 x € E，g e 罗，有 |^( x )| ^ c . 所以 


\ Wg n ( X ^)- Wg n ( X ^)\ 

< F,*{\g n (X：) - g n (X*)\^(X ： ,X*) > S} 

+E*{\g n (X*) - g n (X*)\ ； p(X*,X*) < 6} 
彡 2CP*{p(E ， JT)> J} + 


s . 


a.c* 


于是，由于 e >0 任意性，可见 


X ，故 P *{ p ( X ^ X ^) > — 0 ，n 


由于 X 


—► 00 


_ 


lim | E ^ n ( X ：)- E ^ n ( X *)| = 0, 


而这与 （9) 式矛盾. 

列维- 普罗霍罗夫度量值的 上估计在这一小节把用于定理1的“一个概 

率空间的方法”的思想，用来从上侧估计可分度量空间 ( E , tp ) 上两个概率分布之 
间的列维-普罗霍罗夫度量的值 L ( P , P ). 

定理 4 对于任意两个测度尸和戶，存在概率空间 （ fr ， y \ p *), 以及定义在 
该空间上、 取值于 E 的随机元 X 和尤而且 X 和戈 的分布恰好分别为 P 和 P ， 

并且满足： 






L ( P , P ) ^ dp ^( X , X ) = inf {^ > 0; P *{ p ( X , X )^ e }^ e } 


( 10 ) 


证明根据定 ^ 1，确实存在概率空间定义在该空间上、取值于 
E 的随机元 X 和足使 P*{X eA } = P ( A ), P*{X eA } = P ( A ), Ae ^. 

设 e > 0,使 


p*{p(x ， x)>^k 


(ii) 




那么，对于任意 


P ( A ) = P*{X € A }= P*{X eA.Xe ^} + P*{X € A , X ^ A € } 

^ P ^{ XeA £ }-h P ^{ p ( X , X ) ^ P ( A £ ) + £, 


其中# = {x e £； : p { x ^ A )< eY 因此，根据列维-普罗霍罗夫度量的定义 （§7 第2 


小节)， 


L(P,P)^£ 


( 12 ) 


由 （11) 和 （12) 式，并对 e > 0 求 inf ， 得所需要求的 （10) 式 

系设 X 和 X 是概率空间 （ Q ，《^, P ) 上、 取值于 E 的随机元，其概率分布为 
P X 和 Pf 那么， 


□ 


L ( P x , P ^)^ d P ( X y X ) 
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注1所作的证明显示，事实上 （10) 式总^正确的，只要在某一概率空间 （ fr ， 

，*， p *) 上可以指出取 值于五 的随机元 x 和兄使其概率分布相应为戶和戶，而 
且对于 X 和足有 K : P ( X ( LJ *) , X { UJ *)) ^£}€ J ^*,£>0. 因而，估计式 （10) 的质 
量本质上依赖于，根据测度 P 和 F 建立的对象 X , X 如何.（由 P 和 

P 建立和 X , X 的过程,称做联结或匹配——源于英语单词 coupling .) 

例如,可以取“联结-测度” P * 等于测度 P 和 P 的 直积: P * = P x P , 然而这样的 
选择通常不会得到 （10) 式的好估计. 

注2自然提出问题， （10) 式何时为等式.为此，我们（不加证明）给出如下结 

果:设 P 和 P 是可分度量空间（丑，豕, /?) 上的两个概率测度，存在这样的 （ JTP *) 

和 X ,元使 


L ( P , P ) 二 d ^( X , X ) = inf {£ > 0 : P *{ p ( X , X ) ^ < £}. 


6. 练习题 

1. 宿设概率空间 ( n ,^, P ) 是某一可分度量空间，而 x ( o ；) 和 Y ( u ) 是定义在该 
空间上的任意随机元,证明实函数 p ( X ( u) y Y ( lj )) 是随机变童. 

2- 证明由⑵式定义的函数( X , Y ) ,是取值于五的随机元空间中的度量. 

3. 证明 （5) 式的正确性. 

4. 证明集合 / i (: r ) 在点 1 •关于距离 p 不连续 } e 皮. 


§9. 概率测度之间的变差距离.角谷-海林格距离和海林格积分.对测 

度的绝对连续性和奇异性的应用 


1. •概率测度间的变差距离设 ( n ,^) 是可测空间，少=是空间 ( n ,^) 
上的概率测度族. 

定义1 设 p 和戶为少中的两个测度.称变量 


var(P - P ) = sup / ( p ( uj ) d(P — P ) 


( 1 ) 


n 


为（带符号）测度 P - P 的全~ 变差， 其中 sup 在一切满足 \ ip ( u )\ < 1的，-可测函数 

类上来求.称 var(P -戶）为 P 中测度 P 和 P 之间的变差距离，记作 || 尸 - P ||. 

引理1 变差距离 


|P - P | 卜2 sup \ P ( A ) - P ( A )\. 

Ae ^ 


(2) 


证明由于对于任意 A 


尸 ㈤ 一 P ( A ) = 尸⑷一 P ⑷， 
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则 


2| P ⑷- P ⑷卜 \ P ( A ) - P ( A )\ + \ P ( A ) - 尸(寧 - P "， 

其中由 （1) 式得最后一个不等式. 

为证明相反的不等式,借助于带符号测度 M 三 P - P 的哈恩 （ H . Hahn ) 分解（例 
如，见[ 3 3,第六章 §5] 或 [70 第121页 ])• 根据这一分解，测度 / i 表示为 

其中和(测度 m 的上变差和下变差 M -) 具有如下形式： 


fJL = — 〆 一， 


d / i , A e 


㈤ = 


d / i，yx 一 ( A )= 


Ar\M 


AnM 


其中 M 是 f 中的集合.这时 


var " = var "+ + var "_ = 〆 +($!)+ "―⑼ 


由于 


〆 +⑴） = P ( M )- P ( M ), M -( fi ) = P ( M )- P ( M ), 


可见 


|| P - P || = [ P ( M ) - P ( M )] + [ P ( M ) - P ( M )] ^ 2 sup \ P ( A ) - P ( A)l 


□ 




定义 2 称概率测度序列 { P n } n ^ l 按变差收敛于测度尺记为^ P ， 如果 


由这一定义和 § i 的定理1，不难看出，如果定义在度量空间 ( n 7 jr yP) 上的概率 

测度按变差收敛，则必定也弱收敛. 

分布按变差的接近程度，看来是概率分布接近程度最强的形式.因为，若两个分 

布的变差接近，则实际上在具体的情形下可以认为它们是无区别的.因此，可能造成 

一种印象,似乎研究变差距离没有太大的概率意义.然而，例如在泊松定理中（第一 

章 §6), 二项分布向泊松分布的收敛，就是按变差收敛于0 (下面§12将给出这个距 
离的上估计 

下面将要举出数理统计中用到两个测度 P 和戶间变差距离的例子.这种情 
形自然地出现在根据观^结果区分两个统计假设 i / 和异的问题中.考虑两个假 
设,丑：$实的分布为 P , H : 真实的分布 为戶; 要求判断两个概率模型：怀义， P ) 或 

(^^ P ), 哪一个更符合对观测结果的“统计”，如果把 wefi 解释为观测结果，则 
认为取值于 [0,11 的任意可测函数 

准则的统计意义是， < p ( u ;) 是“当观测结果为 o ; 时,接受假设及的概 率”. 

我们用第一类错误概率和第二类错误概率表征区分假设 I {和兵 的准则的质量 

a (< p )= B<p(cu) (= “当丑真实时,接受互的概率，，)， 


⑶ 


n oo 


是 （区 分假设丑和 互的） 准则 • 


^ = 
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(3( ip ) = E[l - ip ( u ;)} (= “当 H 真实时， 接受 H 的概率”)， 

其中 五和云 表示按测度 P 和戶求平均.假如假设 H 和兵 是对 等的， 自然认为 
使误差概率之和 a ( ip ) + p ( ip ) 最小的准则 f = ^( a ;) 是 最优的 （只要这样的准则存 


在) 


设 


^ r(P,P) = + /3((p)] 


(4) 




记 


dP ~ _ dP 

dQ ' Z = dQ J 


Q^^P + P ) 和 






2 


则 


客 r ( P , P ) = inf [ E(p + E(l - if )\ = inf Eq [ z<p + z(l — #)] = 1 + inf Eq [( p(z — z )] 








(这里及以后用表示对测度 Q 的数学期望). 

不难看到，在函数 


^(lo)=I{z<z} 


上达到 inf , 且因为 Eq(z - 习 = 0,所以 


^ V ( P ， P ) 二 1 — ㈤ 之—司 


1 — 


⑻ 




2 


2 


其中由下面的引理2,可得-后一个等式 • 于是，由 （5) 式可见，函数^；(尸，戶）表征 
区分假设的质量 ，而 ^ r ( p , P ) 依赖于由 变差距 离表征的测度尸和 p 的接近程度. 

设 Q 是某一 有限測度，满足 p < g , p < g , 而测度 尸和 p 关 

于 Q 的拉东-尼科迪姆导教记为 


引理 


dP 


dP 


Z= dQ } Z= dQ' 


那么， 


\ P ^ P \\ = E Q \ z^zl 


⑹ 


而且，如果 Q =( 尸 + P )/2, 则 


||P _ 尸 || = E q \z 一 i ] = 2 E q \\ - zj = 2 B Q jl-zl 

证明 对于一切 〆 — 可测 函数妒= iP ( u ), \ ip { w )\ ^ 1, 根据 2 和？的 定义， 有 

\Eip - Eip\ = \E Q i)(z -z)\<, Eq\%I)\\(z — i)| < e q\{^ - z)V 


⑺ 


⑻ 


因此 


\\P-P\\^E Q \z-z\, 


⑼ 
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但是，对于函数 


1， 

— 1, 


ip = sign(z — z )— 


有 


\ Ei }) - E ^\ = E Q \{z - z )\. 

由⑼和 （10) 式得所求的⑹式.由于 2 + J =2 (g 


(10) 


) ，由 （6) 式得⑺式. 


— &X 


□ 


系1设 P 和 P 是 （ IR , j ( R )) 上的两个概率分布，其（关于勒贝格测度 dx 的) 
概率密度为 P(a:) 和 泛 (: r)，：r e R ， 则 


\P - P \ = 


p ( x ) — p ( x)\dx 


( 11 ) 


OO 


(作为 Q 应取 （ IR ， J ( R )) 上的勒贝格测度 ,） 

系 2设 P 和戶是两个集中在可数个点 

} ，戶= 说， 兩，…}，则 


上的离散測度： P = {仍， 


工1，工2, 


P2, 


4 


9 W 


卜尸|卜 Eh - 沃 


( 12 ) 


(作为 Q 应取读数測度，即 Q ({ xi }) = l,i = 1,2,…） 

2. 测度间的角谷-海林格 （ S . Kakutani - E . Helinger ) 距离 我们现在再 

考虑一种概率测度接近程度的度量，它在很大程度上与变差测度的接近程度是同种 


的 


设 p 和上的两个概率测度，而 g 是控制尸和戶的另一个概率测 

度①，即戶仍记 


dP 


dP 




之= 


dQ 


定义 3 称非负量 P ( p , p ) 为测度 p 和 p 之间的角谷-海林格距离，如果 


p 2 (P,P) = -E Q (^-Vf) 2 , 


(13) 


2 


由于 


2 


dP 


dP 


EqWI -樹 = 


dQ , 


(14) 


dQ 


dQ 


Q 


® —般称 Q (相对 P 和 P ) 为优测度或强 测度. ——译者 
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则量 p 2 [ P ， P ) 的书 写形式 


f ( VdP -^/ dP ) 
Jq 


2 


p\p ， p) = i ； 


(15) 


就变得清晰明了. 

如果设 


H{P,P) = Eq^ 


(16) 


则仿照 （15) 式,可以形式地写为 


VdPdP 


H ( P ^ P ) 


(17) 




Q 


由 （13) 和 （16) 式，以及由 （15) 和 （17) 式，可见 

p 2 ( P , P ) = l ~ H ( P , P ) 

量 if ( P , P ) 称做1/2阶 海林格 积分.对于许多应用,考虑 a € (0,1) 阶海林 格积 
分丑 ( a ; P , 戶）是有益的，它由下面的公式定义： 


(18) 


H ( a ; P , P ) = E Q z a z 1 ' a , 


(19) 


或形式地写为 


f ( dP ) a ( dP ) 1 ^ 

Jn 


H ( a ; P ， P ) 


( 20 ) 




显然 H ( l /2; P , P ) = H ( P , P ). 

为保障定义 3 是适定的，需要证明童 p 2 ( p , p ) 与控制测度的选择无关，且 〆 />， p ) 
事实上满足对“距离”的要求. 

1. a e (0,1) 阶海林格积分 H ( a ; P , P ) (从而 p ( P , P }) 与控制測度 Q 


引理 


的选择无关. 

2 •由 （13) 式定义的函数 p ， 在概率测度的集合上是度量. 


证明1_假如 C 控制尸和 P (即尸《0，尸《0)，则7也控制测度 Q 
(P + P )/2. 因此,只需证明，若 Q 《 Q ，， 则 


acrl — a 


) = E Qf ( zT ( z f ) 1 - a , 


Eq[z 


其中 


dP 


dP 


dQ ， ， dQ ^ 


z 


记 t ； = dQ / dQ f . 那么/ 


且 


= ZV^Z = zv . 


Eq{z^z 1 ^) = Eq^vz^z 1 ^) = EQ,(z ， ) a (^ 一 ' 
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于是，第一个命题得证. 

2. 如果 p ( P , 戶 ） = 0,则 z ^ z ( Q ~ a . c .), 因此 P == P . 显然，由对称性可见 
p { P , P ) = p ( P ， P ). 最后，设 是3 个测度，满足 P 《 Q 、 P " 




dP f 


〃 


dP 


dP 


z = 


z 


z 


dQ ， 


dQ 1 


dQ 


利用对于中的范数成立三角形不等式，得 


[Eq(^/z — Vz^) 2 ] 1 ^ 2 ^ [Eq(\/z - V ^) 2 ]" 2 + [EQ(y/T f - V? 7 ) 2 ] 1 / 2 , 


p(P,P ff )^p(P,P f )+p{P\P ff ) 


□ 


由定义 （19) 和傅比尼定理（第二章 §6) 可以直接推出，当测度 P 和 P 是测度 

Pn , 则测度戶和 


的直积时（第二章§6第10小 节)： P ^ P 1 x ^^ xP n ,P = P 1 x 

P 间的海林格积分等于相应积分 的积： 


» _ 


n 


H ( a ] P , P ) = l [ H ( a ; P u P i ) 


下面的定理揭示了变差距离与角谷-海林格距离（或等价地，海林格积分）间 
的 联系. 特别，它表明这些距离决定概率测度空间在上 的同一拓扑. 

定理1 下列不等式成立： 


2[1 - H ( P , P )} < IIP — PK V 8 ! 1 - H ^ p )i 


( 21 ) 


( 22 ) 


特别， 


2 p 2 ( P , P ) ^ \\ P - P \\ ^ VSpiP , P ) 

证明由于 H ( P , P ) < 1, 而对于 0 彡 x 彡 1，1 - x 2 < 2(1 - a ;)， 则由 （22) 式得 

(21) 式的第二个不等式，而（ 22 )式由下面的一系列不等式（其中 Q = (P + P )/2) 可 


(23) 


得 


| 尸 一 P|| = Eq\ 1 - z\ ^ \/Eq\ 1 - z\ 2 




2 


最后，由不等式 


1|，2 G [0,2], 


z — 


2 
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有 （其中 Q = (p + j p )/2)， 


1 — H ( P , P ) = p 2 ( P , P ) = -Eq[\/z — V 2 - z ] 2 彡 Eq\z - 1| = -||P - P \ 


2 


2 


由此可得 （21) 式的第一个不等式# 

注类似地可以证明，对于任意 a e (0, 1)，有 




2[1 — H ( a ; P , P )]^\\ P - P \\^ A / c a [l - H ( a ; P y P )}, 


(24) 


其中 c a 是某一常数. 

系3设 P 和 P n ， n 彡1，是 （ f 2, f ) 上的概率测度.那么，当 




时，有 


n — > oo 


\ P n — 尸|| — 0分 H ( P n , P ) — 1 分 p ( P n , P )^0, 

\ P n - P \\ ^2^ H ( P n , P ) 


0 公 p ( P n , P ) 


1 


系 4 由于根据 （5) 


^ r { P ^ P ) — I — ~\\P — P ||, 


2 


则由 （ 2 1) 式和 （22) 式，有 


[ H 2 ( P , P )] ^ 1 


m{P,P)^^ r (P,P)^H(P,P) 


(25) 


1 — 




2 


特别，设 


P n = Px 


x P , P n = P X 


X P 


n 


n 


相应为 n 个同样测度的直积 _ 那么，由于 


H ( P n } P n ) = [ H ( P , P)] n = e - An ? A 


lnH ( P y P )^ p 2 ( P , P ) 






则由 （25) 式，得 


-np 2 (P,P) 




—Xn 


(26) 


< e 


e 


2 


用于上面考虑的区分两 个统计假设的 问题，由这些不等式可得如下结果， 

设& 6 , …是独 f 同分布随机元,其概率分布为 P (假设 丑） 或 P (假设 5 ), 
且戶 〆 戶 ，从而 p 2 ( P , P ) > o . 那么，表征根据观测结果 6 , … ，匕， 最优区分假设 H 

和异质童的函数 ^( F 71 , ，当 


时以指数的速度递降为0 


n — oo 


第三章概率测度的接近程度和收敛性.中心极限定理 


398 


海林格积分对测度的绝对连续性和奇异性的应用利用上面引进的 a 阶海 
林格积分，容易表述概率测度绝对连续性和奇异性的条件. 

设尸和 F -可测空间 （fi，，） 上的两个概率测度.回忆， 测度〜 P 关于测度 P 
绝对连续（记作戶《尸)，如果对于4 e ，，每当 P(^l) = 0时必有 P ( A ) = 0. 如果 
戶《 P 且 P 《戶，则称 jP 和 P 等价（戶〜 P). 测度 P 和 P 称做奇异的或正交的 
(P 丄 P), 如果存在4 e 义，使 P ⑷=1和 P ( A ) = 1 (即测度 P 和 P “处于”不同 

的集合中). 

设 Q 是概率测度，而 P 《 Q，P 《 Q， 


♦ 


dP 


dP 




Kf — 


_ dQ’ ^ dQ 


定理 2 下列条件 等价： 

(a) P<P, 

(b) P{z > 0} = 1 ， 

(c) H(a; P ， 尸 ） — 1， a 丄 0, 

定理 3 下列条件 等价： 

⑷ f 丄尸， 

(b) P{z > 0} 二 0 ， 

(c) H(a; P,P) O^a i 0, 

⑷ H{a\ P, P) — 0, 对于一切 a G (0,1)， 

(e) H(a; P, P) = 0,对于某个 a G (0,1). 

证明两个定理的证明同时进行，根据 Z 和 Z 的定义 


P{z = 0} = Eq[zI(z = 0)] = 0, 

P(A n { z > 0}) = e q [ zI(A n {之 > o })]= 


(27) 


Eq \ z - I ( AD { z >0}) 

L Z . 


=E - I(A C \{ z > 0}) = E \ -1( A ) 


(28) 


z 


从而，“勒贝格分解”成立 


/^4)=五 一/(4) +尸04门{: = 0})， 


(29) 


其中随机变量 Z = J/z 称做测度尸（的“绝对连续分量”）关于測度尸的勒贝格导 

數，并且记作 dP/dP (对照第二章§6拉东-尼科迪姆定理的注). 

由此立即得出两个定理中 （ a) 和 （ b) 的等价性. 

此外，由于 


z a z^ a 


zl(z > 0)， a 丄 0, 


§9. 概率测度之间的变差距离.角谷-海林格距离和海林格积分.对测度的 
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而对于 a € (0, 1) 


0彡 z 0 ^! 1 - 0 


^ az -h (1 — a)z ^ z -h 


且 E q (z + i ) = 2,故根据勒贝格控制收敛定理 


WmH ( a \ P , P ) = E q zI(z > 0) - P(z > 0), 

Qf |0 


而这说明两个定理中 ㈨ A ⑷. 

最后证明，在第二个定理中 （ C ) 分⑷ O ㈤ . 为此只需注意到 

l ( z >0), P(z > 0) 

这说明，对于每一个 a e (0,1)， P { 2 > 0} = 0 ^ H ( a ; P , P ) = 0, 由此可得蕴涵关系 

( c ) 分⑷ 分⑷. 

|J 1 设 P = 巧 X P 2 
上的髙斯测度，其密度为 


Z 


H ( a ; P ， P ) = E 




z 




，其中 Pfc 和 Pfc 是 （ R ， j ( R )) 


,P = Pi x P 2 x 


X 


» 学 ■ 


ft » * 


Pk(x)= 


， Pk(x )= 


e 




V 2 n 


由于通过简单的计算，得 


H ( a ; P , P ) = l [ H ( a ; P kl P k ) y 


k=l 


其中 


Qt ( 1 — Q ： ) / 〜、 

2 (afc _ dk ) 


Pk ( x ) pi~ a ( x ) dx 


H ( a ; P k , Pk )= 


=e 


得 


Z) (ofc-a fc ) 


H ( a ; P , P ) 


=e 


由定理 2 和 3 得 


〉 ： (afc - ^ k ) 


2 




< OO , 


fc=l 


_ A *：) 


2 


P 丄 P 公 


— OO 


k=l 


仍设 P = P 1 xP 2 

为 Afc > 0 和 Xfc > o 的泊松 分布. 那么，不难证明 


， P = 朽 x P 2 X …，其中朽和巧是参数相应 


X 


« ■ * 


2 


E 


P 《 P 々 ^P 《 P<^ F 〜 P 公 


< 00, 




1 


(30) 


2 


E 


P 丄 


OO 






fc 1 
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4. 练习题 

1. 在引理2的记号下，设 


Eq(zAI), 


PAP 




其中 zAz 


( z 7 I ). 证明 


min 




|P-P|| =2(1 - PAP) 


(从而 ，心 ( P ， P ) = PA 戶)， 

2 .设 P , P n ，n > 1，是 ( R ,^( E )) 上的两个概率测度，其（关于勒贝格测度的）密 

度为 p ( x ), p n ( x ), n ^ l . 假设对关于勒贝格测度几乎所有: r ， p n ⑻— p ( x ), 证明 

\ P - Pn \\ 


oo 


\ p { x ) - p n ( x)\dx -> 0, 


n — > cx ) 




(对照第二章 §6 练习题 17). 

3•设 P 和 P 是两个概率测度.定义库尔贝克 （ S . Kullback ) 信息量——相对 P 

K { P , P ), 定 义为： 


有利于 P 的信息量 


dP 


E\n ^, 若 P 《 P, 

I 

若不然. 


K ( P , P ) 


dP 




00 , 


证明 


P ) > —2 ln[l — p 2 ( P , P )]^ 2 p 2 ( P , P ) 


4. 证明公式 (11),(12). 

5. 证明不等式 (24). 

6 •设只戶， g 是 （ R ， 方 ( F )) 上的3个概率测度，而和 P * Q 是它们的卷 

积（第二章§8第4小节).讪明 


p*Q-p*gil ^ ||p-p|| 


7. 证明 （30) 式. 

8 -设 f 和7?是在可测空间 ( E ^) 取值的，概率空间上的随机元，证 


fPU P{ri € A }\ < P {^ # 77 }, Ag ^ 


§10. 概率测度的临近性和完全渐近可区分性 


1. 概率测度的临近性和完全渐近可区分性的概念这些概念，在数理统计的渐 
近 理论中起重要作用，对于两个测度 序列的 情形，是两个测度绝对连续性和奇异性 

概念的自然推广. 


§10. 概率测度的临近性和完全渐近可区分性 


401 


我们从定义开始. ~ 

设是某一可测空间序列，而是概率测度序列, 
其中 p 和# 定义在 （ n '， n ) n w 上. 

定义1 称测度序列 ( P n ) 临近序列 ( P n ), 记作（戶 n ) < ( P n l 如果对于满足 

尸 n ( jn ) 0, n oo 的所有 e 义'有 P n ( A n ) 

定义 2 称测度序列（戶 n ) 和 （ P n ) 完全渐近可区分，简称可区分，记作（户 n ) △ 

(- P n ), 如果存在序列 nk] oo,k OO 与这样的集合 AM ，' 使得： 


0, n 


— > 


pn k ^ A n k ^ ^ ^ pn, (乂 ru) ^ Q k 


立即可以指出，可分性是一个对称的 概念： ( P n )A ( P n )^ ( P n )A ( P n ). 临近性 
不具备这一条性质.假如 ( P n ) < ( P ) 且（卢 ） > ( F "), 则记作（戶 《) < t >( P »), 并且 

称该测度序列 ( Pi 与 ( P U ) 为相互临近的. 

_ 

需要指出对于下面的 情形： 对于一切 n 彡 i ，( rr , f n ) = ( n ^), p n = p , P n = 


p , 有 


(p n ) < (p n ) p, 

(P n )<3>(P n )<^P~P, 

(P n ) A (P n ) o 戶丄 P. 


( 1 ) 


( 2 ) 


(3) 


这些性质以及上面给出的定义说明，为什么临近性和完全渐近可分性，常解释 
为序列（戶 n ) 和（尸 n ) 的“渐近绝对连续性”和“渐近奇异性”. 

无限稠密随机变量序列的情形下面给出的定理 1 和 2 是 §9 的定理 2 和 3 
对测度序列情形的自然推广. 




设 ( Q n ^ n ) n > 1 是可测空间序列，是彡 1) 上的概率测度，而 

( D 是上的随机变量（一般说来，是广义随机 变量; 见第二章 §4). 

定义3 随机变量序列 （ C ) 关于测度序列称做稠密的（记作 （ PIQ n ) 稠 


密)，若 


lim limQ n (|d > N) =0. 

N]oo n 

(对照 §2 中概率测度族的密度的相应定义 .：） 

下面到处将设 


(4) 


P n +P 


dP n 


dP 


Q 


— ya — 

dg ^ ? — dQ ^ 


此外，记 




z 


(5) 
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f 测度关于测度 P 的勒 P 格导数，并认为2/0 = oo j 见 §9(29) 式).注意，假如 
#《 P 71 ，则恰好是测度戶 n 关于测度 P 71 的密度 dP n / dP n 的一种变式（第二 


章 §6) 


对于以后，有益地指出，由于 


P n 


= E 


I [z n ^- 


( 6 ) 




Z 


Q 


N ， 


N 


N 


RZ n ^ 2/z n ，贝 ! 1 


P n 稠密， （ Z 7 ^/^) 掮密 


⑺ 


z n 


定理 1 下列各条件 等价: 

( a ) ( P n )< ( F ^), 

( b ) (去 |>) 稠密， 

( W ) ( Z n \ P n ) 稠密， 

( c ) lim \ imH ( a ; P n , P n ) = 1. 


a |0 


定理 


下列各条件等价 


( a ) ( P -) A ( P -), 〜 

( b ) 对于任意 e > 0 MmP n ( z n > 匀 = 0, 


(b ’） 对于任意 TV > 0, lImP n (Z n < TV) = 0 ， 

〜 n , 

( c ) lim limi / fg ; P n , P n ) = 0, 

o^io n 

(d) 对于任意 a e (0A)MmH(a; P n ,P n ) =0, 

n 

( e ) 对于某个 a e (0, l ), limH ( a ; P n , P n ) = 0. 

定理 i 的证明. 

( a ) =>( b ). 假如 （ b ) 不成立，则存在£ > 0和这样的序列 T 00 ,使 { z n 
1/ wfc ) 彡已 然而，由⑹式，有 P n ^( z nk < 1/ nfc ) ^ 1 /nk — 0 ，fc — oo , 而这与假设 

( P n )< ( P n ) 矛盾. 

( b ) ^( bO . 只需注意到 Z n = ( 2 / z n ) 

( b )^>( a ). 设且 P n ( A n ) - 


k 


< 


- 1 


有 


0, n 


― > 


00 , 


P n ( A n ) ^ P n ( z n + Eqr , (?/(，n {/ > e })) 

彡 P n ( z n + - E Q n ( z n I ( A n )) = P n ( z n ( e ) + ^ P n ( A n ) 


£ 


£ 


因此， 


\ imP n ( A n ) ^ \ imP n ( z n ^ e ), e > 0 


命题 （ b ) 等价于 


lim \ imP n ( z n ^ e ) = 0 


eiO 
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于是 ， — 0 ， 即 (b)^(a) 

(b)=>(c). 设 e > 0, 则 


Z 


H(a; P n ,P n ) = Eqr.Kz^^) 1 ^}^ E Q 


I ( z n > e ) I ( z ^ > 0)2- 

P n (z n ^ e). 


z 


(I) 


I(z n 彡 e ) 彡 


⑻ 


=Ep 


z 


由于 z n + z n =2 1 可见对于 e > 0, 


£ 


lim limiffg; P n , P n ) ^ lim - \imP(z n ^ e) = limP n (z n ^ e) 


⑼ 


2 


a [0 


a |0 


由于 (b)lim UmP n (z n ^e) = h 因此，由于⑼式和 H(a;P n ,P n ) < 1, 可得命题 （ c) 

(c)=Kb ). 设 dG(o ， i )， 则 


F ( a ； P n , P n )= 尸(？）卜 a I (2 n < e)l + £； Q n [ (，广 ( P ) 1 〜 7(， 

+^Q«((^ n ) a (J 7l ) 1 - a /(^ n 彡 e，^ 1 > <5)1 

( 2e a + 28 x ^ a 4 - E q 竹 


: 嗜 ) 


I(z n ^£^>6) 


a 


<2 e a +25 1 _ a + 


P n ( z n > £) 


( 10 ) 


因而，对于一切 a € (0,1)，5 G (0,1 )， 有 


① 


26 


lim limP n (^ n ^ e) ^ 


limJf(a;P n ,P n )- 


2 a 


elO 


首先令 a u) 并利用 （ C ) ， 然后令 51 o 7 n 


lim limP n (^ n ^ s) ^ 1 


dO 


于是， （ b) 的正确性得证 . 

定理 2 的证明. 

(a)4(b). 设 （ P n )ACP n )，njfc T 00 ,而 e / nfc ，则 P n *= (A nk ) 1, P nk (A nfe ) 

0. 那么，注意到 # + P = 2 ,可见 


□ 


■' ) 




I(T k )I{z Uk ^ e) 


P nk (z nk >e) ^ P nk (A nfc )4 - E Q n k z Uk 


x 


二 P nk (A Uk )+ Mpn 


2 


s 

从而 ， ^ (z nk > e) — 0 故 （ b) 成立 . 
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(b)=>(a), 如果 （ b) 成立，则存在序列 T <50, 使 




0， k — ^ oo 


k 


k 


由此并注意到 （见 （ 6) 式) 




n k 


^ 1 — T 


> 7 




k ， 


k 


得命题⑷. 

(b)^(b ; ). 只需注意到 = ( 2 / z n ) - 1. 

(b)4(d). 由 （ 10) 式和 （ b )， 对于属于区间 （ 0,1) 的任意 e 和 6 ，有 


lirai /( a ; P n , P n ) < 2 e a + 2 J 1 一 


a 


n 


因此 ,( d ) 成立. 

( d )4( c ) 和 （ d )= Ke ) 显然 
最后，由 （ 8) 式，有 


a 


(■) 


\ imP n ( z n ^ e ) ^ 


hmH { a ; P n , P n ) 


n 


n 


由于 （2/ e) a — l，a ! 0,可见 （ c )4( b ) 和 ( e )=^( b ). 

3. 独立观^槪型 考虑对应 于独立 观测概型的一种特殊情形.在这种情形下， 

积分 H ( a ; P n , P n ) 的计算和定理1和2的应用，都没有大的困难. 

假设测度 P 71 和 P 71 是 測度的直积： 




P n = P X 


xP n , P n = Pi x 


X Pfl ， 几 > 1 ， 


X 


• • • 


畢畢 _ 


其中巧和民是上的测度. 

由于在这种情形下， 


n 


n 


H(a;P n ,P^)^HH(a;P ky P k ) 


!>[ i -(1 


- H ( a ; P k , P k ))]}, 


exp 




k=l 


则由定理 1 和 2 得如下结果 


n 


( P n )< ( P n )^ H ( a ; P k , P k )}= 0 , 

o ： 丄 0 Ti ‘ 


(ii) 


i 


n 




( P n ) A(P 


n 


- ff ( a ; P fe 7 P fe )] 


( 12 ) 


= OO. 
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例设 = €(0，1)， 

P k (dx) = I [0A ](x)dx, P fc (dr)= 


‘，11⑷咖 


1 - afe 

由 f 这里 H ( a ' P k ， h ) = ( l - a k ) a ,a G (0,1), 由 （11) 式和 H { a ; P k , P k ) - H (1 - 
PkyPk ), 可得 


a ; 


( 9 , 


(P n ) < (P n ) ^ limna n < oo, 


= O 


a 


( 9 , 


( P n ) < (P n ) ^ Ii^na n = 0 ? 即 


a n = o 


(P n ) A (P n ) hmna 


= oo* 


4. 练习题 


其中和& n 是参数为 

( aj ?，1) 和 （碎， 1) 的高斯测度.求使 ( P n )<3 (P n ), (P n )A (P n ) 成立， 邛 和邳应满足 
的条件， 


1•设 P n = Pf 


_ x pnpn = pn x 


X 


X 


9 • * 


~ 玲 , n > 1，其中 JT 和垮是 

(R ， 义⑻）上的 f 率测度邱 (dr) = I [0il] (x)dx 7 P^(dx) = l [an , l+an] (x)dx,0 ^ a n < L 

证明 H(a;P^P^) = 1 — 且 


2 •设尸 n = Pp 


jyn pn pn 


X … X 


X 


X 


(P n ) <3 (P n ) ^ {P n ) < (P n ) ^ \imna n = 0 ? 

(P n ) A (P 71 )^ Umna 

n 

3 .设是滤波度量空间，即引进了 a - 代数流 {3 T n ) n ^ 的可 
测空间 （ a ，)， 其中*^ 0 gg ... g 假设^ = a ( u n ^ n ). 设尸和戶是 
( n ,^) 上的两个概率测度，而= p \^ ny p n = P \^ n 是 p 和 p 在，„上的收 

缩.证明： 


= 0O 


(P n ) <3 (P n ) 公 P 《 P, 

(P n )< >{P n ) 分 P 〜 P ， 

(P n )A (P n ) 待戶丄 P. 


§11. 中心 极限定理的收敛速度 


1,中心极限定理中收敛速度的估计设 6 a ， …， f nn 是独立随机变量序列， 
Sn = + … + ^nn,F n (x) = P {5 n ^ x},n ^ 1. 如果 

M X e R , F n ( x ) ^( x ). 由于函数步 (: r ) 连续，则这里实际上是一致收敛 （§1 练习题 


d 


AT (0,1)， 则对于任 


5): 


sup \F n (x) - ^(x)\ — > 0, 


( 1 ) 


71 ~> OO 
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4 


自然提出关于⑴式的收 敛速度 问题.我们考虑下面的情形 


^1 + …+ (n 


S n = 


， n > 1 ， 


其中… 是独立同分布 随机变量序列，且= 0， D & = cr 2 > 0,而 E |^ x | 


3 


< 


00 


定理 （贝 里-埃森 [ A . C . Berry - C . G * Esseen ]) 有如下估计 


3 


CE|6 


sup|F n (x) - $(x)| 彡 


( 2 ) 


a^y/n ， 


X 


其中 C 是绝对常数 （(加)- 1 / 2 (C < 0 J 65 5). 

证明为简单计，设 a 2 = 1和/? 3 = E |6| 3 
10小节)，有 


由埃森不等式 （第二章§12第 


< oo . 


T 


/nW — 冰) 


2 


24 


sup \F n (x) - $(x)| ( 


dt + —— x . —， 

丌 r 


(3) 


7 T 


x 


0 


其中 


71 


fn(t) = / ( 


而 f(t) = Ee 埤 1 , 

式 （ 3) 中的正数 T 可以任意选.设 


\/n 


T 二 


5/? 3 


下面将要证明，对于这样选择的了，有 


% 


t| 3 e^^ , \t\ ^ T 


fn(t)— 冰 )| ( 


(4) 


6^/n 


考虑到这一不等式，由 （ 3) 式立即得到所要证明的不等式 （ 2 )， 而其中 C 是绝对常数. 
(更加精确的计算表明， C 的值小于 0.7655; 参见 [88 第 5 章 §4.3].) 

我们现在证明不等式 （ 4). 

由第二章 §12 的 （ 18) 式 （n 二 3, E^i = 0 ， E 技 =1 ， 而 E|6| 3 <oo), 可见 


f(t) = Ee 吨二 1 U 幻 


3 


[E^(cos +2 sin ^2^1 )]. 


(5) 


2 


6 


其中 I 化 I <1， I 心 I 彡 1. 因此 


t 2 


3 




( it ) 


Ci ( COS 6i +isin 


1_ L 

2n 6n 3 / 2 


I ® 


n 
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§11 


如果 \ t\^T = v ^/(5/5 3 ), 则不等式洗彡 a 3 = 1 (见第二章 §6(28) 式)，可见 


< t 2 1 心 3 

、 2n 3n 3 / 2 


1 


1- f 


彡 1 — / 


^25 - 






从而，当 ㈨ < r 时，有 


n 


,(★)， 


n In 


( 6 ) 


/ 


=e 




其中 In z 应理解为复数 z 的对数 的主值 （In 2 = In |z| + iarg 2 , -7T < arg z 彡 7r). 

由于為 < oo, 则由带拉格朗日余项的泰勒公式（亦对照第二章 §12 (35) 式), 

1，可见 


⑴ 


( 2 ) 


为 


2 


= E^i = 0, s 


s 


= G 






2 


3 




⑻ 


it 


et 


⑴ 


( 2 ) 


〃/ 


In f 


(In /) 


^=5 






6n 3 / 2 


2n 


t 2 


3 


㈨ 汀〃 ㈤ 




，问彡 1 


⑺ 


2n + 6n 3 / 2 


其次 


f f ，， ( s ) f 2 ( s ) - y f ， ( s ) f f ( s ) J ( s ) + 2[ f ( s )} 


3 


[In /wr = 


/ 3 ( 5 ) 

E[(gi) 3 eAl/ 2 ⑷— 3E [( 沁 ) 叫 /(s) + 2E[(^!)e^ 5 ] 3 


f 3 (s) 


因此，注意到对于 | t | < T ， \ f ( s )\ 彡1，有 |/( W^)I ^ 24/25,得 

03 + 3y9i/?2 + 2/3j 


0 t 


(In f) m 


<7/3 3 


⑻ 






3 


24 


25 


((3 k = E|^| fc ,fc = l,2,3;/3i^/3^ /2 ^ pl /3 ; 见第二章 §6 (28) 式). 

运用不等式 |e 2 — 1| < | 咖 1< 由 （ 6) 〜 (8) 式，对于 \ t \^ T = vV(5/?3 )， 得 


n 


’( 夫) 


-4 = 


2 


n In 


—e 一 了 


— e 


e 


%间 3 


t 2 ^ 7 p 3 \ t \ 3 

- z - r 


im e - 令 






□ 


exp 


6 y/n 


6y/n 


6^ 


2 


注需要指出，在缺乏关于可和随机变童的性质的补充假设的情况下，估计式 
(2) 的阶数和估计 O (2^)- V 2 不能够改进.事实上，设6, 匕，… 是独立同分布伯 
努利随机变量，且 


P{Cfc = +1} = P{Cfc = —1} 






2 
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由对称性,可见 


2n 


fe 二 1 


因而，根据斯特林公式（第一章§2 (6) 式)，有 


2n 


2n 


<o 




— 2 ti 


p 


2 =2 P 


2n 


2 


k=l 


fc=l 


特别，由此可见，常数 C 不小于 （2 tt )_ V 2 , 且 


2n 




P 


⑼ 


= 0 


n ^ oo 


k=l 


练习题 

1. 证明 （8) 式. 

2 . 设6,6，-.是独立同分布随机变量，且 ECi = 0,0贫= 7 2 ，而 E | Ci | 
熟知，对于一切 -00 < $ < oo 有如下 不均勾 不等式 估计： 


♦ 


3 


< 00 


3 


CEI6I 


\ F n ( x ) - ^( x )\ K 


x 


3 


y/n (1 + \x\) 3 ' 


G 


证明此不等式，至少对于伯努利随机变量证明之. 

3•设 ( a )^ i 是独立同分布随机变量序列，分别以概率1/2取士1为值.设 


ip 2 (t) = Ee il ^ = -(e^ + e-^). 


2 


仿照拉普拉斯，证明 


7 T 


= 0 } = 


⑴ dt 


n —> oo, 


y/im^ 


7 T 


0 


其中 Sfc = + • • • +《 k . 

4 .设是独立同分布随机变量序列，各取 2 fl + l 个整 数值: 0, 士1， 


，土 a * 


_ 暑 _ 


设 


a 


^( t ) = Ee ^ = YT ^- 


+ 2 cos tk 


k=l 


仍仿照拉普拉斯，证明 




7T 


= 0 } 


^2a+lW dt 


7 n —► oo. 


7T 


0 


特别，对于 a = 1，即对于^取3个可能值-1，0,1的情形，证明 




P {5 n = 0} 


，n — ^ oo 




2y/7rn 
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§12. 泊松定理的收敛速度 


泊松定理中收敛速度的估计设 m 是独立伯努利随机变量，取1 
和0两个可能值，相应的概率为 


* 


P{^fc = 1} = Pk, P{^fe = 0} = 1 — Pfc )，l ^ 


n 


记 B = ( S 0 , 历，…，艮）为和 S = 6 + …的二项分布的概率，其中= P {5 = 
k }. 再设 II = (110，!^，…）是参数为 A 的泊松分布，其中 


X k 


一 A 


life = — e 


，左 > 0 


A :! 


如第 一 章§6第4小节指出的，若 


PnA = np, 


( 1 ) 


Pi = 


则对于 b 和 n 间的 变差距 离有如下估计（普罗霍罗夫) 


A 


||B-n|| =^|5 fc ^n fe | <c 1 (A) P = c 1 (A) 


( 2 ) 


x 


n 


k^Q 


其中 B n+ i = B n+ 2 = 


0, 而 




# * » 


Ci ( A ) = 2 min (2, A ) 


(3) 


对于 ELiPfc = a (但 Pfc 未必相等）的情形，卡姆 （ L . Le Cam ) 证明，得 


OO 


||5 - n | 卜 E mifci < ⑽) 


⑷ 




k =0 


其中 


C2W — 2 min (9, 入) 


(5) 


由下面将证明的定理可得估计 


\B^U\\^C 3 (X) 


⑹ 


哉 n 巩， 


其中 


C 3 ( X ) = 2 A 

虽然当 A > 9 时 C 2 ( A ) < C 3 ( A ), 即估计⑹比估计⑷差,但是我们还是证明 

⑹式，因为估计⑹本质上是初等的，然而要得到估计⑷中“较 好的” 常数，证明 
的技术将复杂得多. 


⑺ 
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2 .估计式（ 6 )的证明 

_ 

定理设 A = 则 


OC 


n 


|| B - n || = ^|5 fc - n fc |^2 Vp | 


⑻ 


k =0 


k=l 


证明 利用 b 和 n 中每一个分布是相应分布 的卷积 

B = B ( pi ) * B ( p 2) 

n = u(pi) * u(p 2 ) 

理解为相应分布函数的卷积（见第二章 § S 第4小节)，其中 B ( p k ) = ( l - p k , p k ) 是 

参数为外的在点0和1的伯努利分布，而 n ( p fc ) 是集中在点0,1，…参数为仰的 
泊松分布. 

不难证明， 差 B _ n 可以表示为： 


B ( p n ), 

n ( p n )， 


* 


* 


⑼ 


* 


* 


* • ii 


B — Tl = Ri + … • + R n , 


( 10 ) 


其中 


Rk = [B{p k ) - rifc(pfc)] * a ， 


(ii) 


而 


Fi — n ( p 2) 

Fk = B ( p 1 ) 

F n = B(pi) * " . * B(p n _i). 

由于 § 9 的练习题 6, 可见 i | 則 I < \\ B ( p k ) - 11(外)||.因此，由 （10) 式，立即得 

|| B - n | K ||5( P ,)- n (^)||. 

注意到§ 9 的 （12) 式，可见计算变差 \\ B ( Pk ) » n ( Pk )\\ 并不困难 


n(pn )， 

B(p fc ^i)*n(p fc +i) 


* • 


* 


• 学 


n(p n ),2 ^n-1, 


* 


* 


* 


* 


• * 


« _ _ 


( 12 ) 




||B(p fc ) — n(p fc )|| = |(1 - pk) - e^ Pk \ + \p k — p<te 


=1(1 -Pk) - e' Pk I + bfc — Pk^ Pk I + 1 

= 2p k (l-e- pk )^2pl 


~Pk 


~Pk 


— e 


— Pfce 


于是，由 （12) 式，得所要求证明的不等式 （8) 

系由于 


□ 


n 


EpUa 




^1 • —— 1 

TV —* i 


可见估计式成立. 
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3. 练习题 

1. 证明当 A 


- ln(l - p k ) 时 




k 


-X k e^)^Xl 


—Xk 


\\ B ( p k )- Tl ( p k )\\= 2 ( l~e 


因而 \\ B - U \\^ Z：=^l 

2. 证明表达式 （9) 和 (10). 


§13. 数理统计的基本定理 


1. 数理统计与概率论的关系在第一章§7中对于伯努利概型，曾介绍过根据 
对随机变量的观测，估计“成功”的概率，以及为其置信区间的问题.对于在一定意 
义上研究概率论 的反问题的数理统计 来说,这些问题是典型的和基本的.例如，假如 

概率论的基本兴趣是,对于给定的概率模型，计算各种概率指标（事件的概率，随机 

元的概率分布及其各种特征，等等)，则在数理统计中，我们的兴趣 在于： 如何根据统 

计资料（以一定的可靠性)揭示相应的概率模型，使之在经验资料统计性质的框架内， 
最好地与生成这些统计资料的随机机制的概率性质一致. 

下面引用的（格里坟科 [ B . H . r JIHBeHKO] ,坎泰利，柯尔莫戈洛夫和斯米尔诺夫 
[ H . B . Cmhphob ]) 结果，理应称为数 理统计的基本定理， 因为有关成果不但奠定了 

由统计资料提取（关于被观测随机变量的分布函数的）概率信息的 原则可能性， 而且 
可以估计经验资料与各种不同的概率模 型拟合程度. 

分布函数与经验分布函数的拟合定理设是定义在某一概率 

空间 P ) 上的 独立同分布随 机变量序列 ，而 F 二 F ( x),x G M , 是其共同的分 
布函数 ( F ( x ) = P {4 ^ x }). 对于每一个 N 彡1 ，定义经 验分布 函数： 


■ 


N 


E 他 < X )， 


Fn(x]uj) 


( 1 ) 


x G 


N 


k—l 


根据大数定律 （§3 定理2)，对于每一个 x e R ， 有 


p 


F n ( x ; uj ) — ^ F ( x ), N — 00 , 


( 2 ) 


即 P ~ 依概率收敛. 

由第四章§3的定理1和2,可见对于每一个 x £ R , 当 W 


时，依概率1收 


— oo 


敛，有 


F n ( x ; u ) F ( x ) } ( P - a . c .)* 

这里有非常好的、更强的结果：（ 3 )式中的收敛关于 a ; 是一 致的， 


(3) 
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定理（格里汶科和坎泰利） 在上述条件下， 随机变量 


D n (u) = sup \F n (x;u) - F(x)\ 

x€R 


(4) 


依概率 1 收敛于0 


P{lhn£)jv(^) = 0} = 1. 

证明设 Q 是 M 中有理数的集合.显然 


(5) 


snp\F N (r;u;) - F(r)| 


rGQ 


是随机变童.由于 


D n (oj) = sup |Fjv(x;o;) - F(x)\ = sup |Fjv(r;u;) - F(r)|, 


reQ 




可见 D n ( u ) 也是随机变量，因此它有概率分布. 

设整数 M>2, 而 fc = l ， 2, … ，M —1. 定义数列 


XM,k = min{x € R : k/M < F(x)}, 


同时设 = - OO . Xm.M — +00. 

假设 ； r € \ xM , k ^ M , k + l ), 而且 l ^ M y k ^ M y k + l ) ^ 0 -那么，显然 

Fn(x ； U)) — F(x) ^ F/v(XAf,fc+l — 0) — F(xM,k) 

=- 0) — F ( XM t k+l - o )] + [ F(xm 

^ i^JV(^Af ， fc+l — 0) — F{XM,k+l — 0) + —. 

• u 

类似地，再设 ; r e [工 M ， fc ， TA /， fc + i )， 有 


0) — F(a ； M ， fc)] 


, k+l — 


u)) — F(x) ^ Fn{xm ^)~ F(xM,k) 豆 


因此,对于每一个 


\Fn(x;w) - F(x)\ 


{| Fiv ( XM ， fc ; W ) - F { x M , k )\, \^ n { xm,i 一 0; w ) — F ( x M ,l - 0 ) 1 } + —, 


彡 max 

l^KAf-1 


于是， 


lim sup|F ； v(x;a;) - F(x)\ < 

Tl ^ OO /p 

由于 M 的任意性，由此可得结论 （5) 

格里汶科和坎泰利定理，是数理统计的基本定理之一.前面已经指出，该定理奠 

定了由根据对 独立同分布随 机变量6,6, •.. 的观测结果，检验这些变量的分布函数 
是否恰好是函数 F ( x ). 换句话说,定理保障建立“理论与试验，’ 一致的可能性. 


(P — SLC_). 


M 


□ 


* 
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经验分布函数对分布函数的偏差 D n ( cj ) 和 JV 与 F ( x ) 无关尽管格里坟 

时，偏差变 




科和坎泰利定理有所指出的重要性，然而它并未回答，关于 “当# 

童 D n ( u ) 收敛于0的速度”问题.因而,不能推断，独立观测结果与“它（观测结果) 
具有假设的分布函数 F = F ( x )， xeR ” 这一论断的似然程度 

由中心极限定理可见，对于每一个固定的: r e R ， 有 


- > OC 




\ Zn [ F n ( x ; cj ) - F ( x )] N (0, F ( x )[ l - F ( x )}), 


⑹ 


说明随机变量 VN [ F n ( x ; u )~ F ( x )] 收敛于均值为0,方差为 F ( x)[l - F ( x )] 的正态 


分布 


当然，更重要的是得到（一致）统计量 


= sup | Fjv ( x ; o ;) — F ( x)l 


或相近的统计量 


= sup [ F N ( x ; u ) - F ( x )] 


⑺ 


的极限分布. 

在求这些统计量的极限分布时,下面（柯尔莫戈洛夫）的研究结果是关键. 

引理1 设 IF 是连续型分布函数 F =尸(2；)类. 

对于每 一 个 iV > 1和一切 F € 3 F , 统计量 Dn ( lj ) 的概率分布是同一分布.对于 
统计量有类似的结果. 

证明设 

从均勻分布: P { r?i ^ x } = x ,0 < x ^ 1, 

由于对于连续函数 F = F ( x ), 统计量 

\ U N ( x \ u ;) - U ( x )\ 的分布相同，其中 


• 是独立同分布随机变童序列 5 且在 [0,11 上同 （ f ； = U ( x )) 服 




» * 


\ F n ( x ; uj )- F ( x )\ 的分布，与随机变 


sup 


sup 


N 


1 

U n (x;uj) = < x ) 

k=l 

是随机变量…，咖的经验分布函数，由此可以得到引理的结论， 

以 i 4 表小分布函数 F = F ( x ) 是常数的区间/ = [ a , &]， -oo < a < 6 < oo , 的集 

合，即 P {6 € /} 


0 




D^(uj) = sup\F^(x ； Lo) - F(x)| snp\F N {x;uj) -F(x)\. 

若引进随机变童 ㊉ = F (^ k ) 及其经验分布函数 

1 N 

U N (x ； iv) = -^y^J(Vk(^) ^ x), 


fc=l 
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则对于任意 x E 


JV x N 

U n (F(x);uj) = -^I(F(^))^F(x)) = = 


fc = l 


fc=l 


因为对于这样的 x ， {a;: ^ k (tv) F(^H) < F(x)}. 


这样 


D n ( u ^) 


sup \F n {x;uj) - F(x)\ = sup\U N (F(x)]u;) - F(x)\ 

x€A 

sup |?7^(^(0：)；- F(x)\ = sup \U N (y]u;) ~y\ 

奸 （ o ， i ) 


x€A 




P—a,c. 


sup \U N (y;uj) -yl 

y€[o,i] 


其中最后一个等式 （P 


) 成立，因为 


一 ax 


P {^1 = 0} = P {77 i = 1} = 0 


⑻ 


现在证明，随机变量兩: （ 在 [0,1] 上）均勾分布.为此记 


x(y) = inf{x G M : F(x) ^ y), y e (0 T 1). 


那么，有 F(x(y)) = y，y e (0,1)， 且 

P{^ < 2/} = P{F(^) ^y}= P{F(6) < 尸 ( 工 (2/))} 

=P{6 < x(y)} = F(x(y)) = y. 

由此连同 （8) 式就证明了，随机变量兩（因此免，兩，…也都）在 [0,1] 上均匀分布. 


□ 


统计量和 D +( co ) 的极限分布上面的引理1表明，为（在对观测结 

时求统计量 D n (uj) 和 


4 


令 


果6,6,…的连续分布函数 F = F ( x ) 类 F 中） 当 N 

风 M 的极限分布，只需假设6,6，...是独立同分布在 [ o ， i ] 上均匀分布的随机变 
童序列. 


— ^ oo 


固定某个 n 八 并且（对于每一个 0 J ^ n ) 将变量 m 按递增顺序排 
列所得的新变量（顺序统计量）记作，… ，& T ， 其中 


^ 1 N) =minK 2 , 


(N) 


，6 v )， …，《 


=max ( 心 』 2 ,…，㈤ 


• v « 


N 


(两个这样有序变量相等的概率等于 0.) 


设 


1 N 

U N {y;u；) = — y^/(Cfc(^) ( y )， 


⑼ 


fe "― 1 
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( 10 ) 


D n (u) = max|C/ N (y;u;) - y 

y€R 

不难看出，上式右侧只有在函数 U N ( y ; u ;) 的跳跃点 d N ) ，攻^，… ,以)上 ，才可 

以达到最大值.因此， 




k 


(o;) 


( 11 ) 


fiN\N 






由此可见，为求统计量 d N ( u ) 的分布，需要知道顺序统计量 ⑦'②'. 

联合 分布* 

为求此分布,考虑独立指数分布的随机变量序列： ci , c 2 ,-- : p{a >^} = e --, 

>0，且设 = Cl +，…+ ( n ， 几 > 1. 

向量（^ 0 ，^ 0 ,…，$°)的联合分布，等同于向量 


(N) 


的 




X 


引理 


^_ S 2_ 

o > rr ) 1 ry 

^ N+l & N +1 ^> N +1 


Sn 


的联合分布. 

证明 一 方面，对于…< j/iv < 1， 有 


e - - - e dy N } = y^Pfet 

_ 

其中对整数 （ 1, …， W) 的一切排列 （匕 ，… ， k N ) 求和.(在 （ 12) 式中及下面使用有些 
随意的 “ 微分”书写形式,不过不难赋予其确切的含义 .） 

在 （ I 2 ) 式右侧的随机变量独立服从 [0，1] 上的均勻分布.由于 （1，.. ， iV ) 的一 
切排列的总数为 AH , 可见 （ I 2 ) 式右侧等于 Nld yi - - • dy N , 从而,如果 { y u …， y N )€ 
△"， 其中 Ajv = {yi e [0, lj , … , y N e [0,1] : 0 < yi < … < yjv < 1}， 则 

e dyi， … G dy N } = Nldyi 


Ck N G dyjv), (12) 


(13) 


dyN 


» 4 


如果 （2/1， …， _) 癸 Aw , 则 


^[ N) ^ dy N } = 0 


(14) 


另一 方面， 现在证明同样的结果 


Nldyi … dy N ，若 ( yi ，， 

若（2/1， • 




Sn 


，⑽） e A ； v ， 
，队 v ) 穿 A n . 


P 


^ ^2/1 ， • _ • ，^- ^ dt/iv 

^> N+l 


Sn+i 


0, 


( 15 ) 


为此,考虑随机变量&，…， S N +1 的联合分布, 
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如果 ( xi , — • , X ； V +1) G Atv +1， 则 


， Sn+1 £ da ： Ar+l} 

*. ， CiV+i ^ dxjv+i — xjv} 
)dxidx2 … dxiv+i 


P{5i e dxi, 52 G dx 2 , 

=P{Ci ^ dxnG G dx2 






一（ : r 2 -:ri) 


一 （ T/V + l ~^N 


-Xi 


e 


=e 


e 


( 16 ) 


XN+1 dxidx2 … dxN + i ， 


— e 


如果（: Ti ，… y XN + i ) ^ A ^ V + l ， 则 


， Sn+i ^ dxjsf + i] = 0 


(17) 


P{Si G dxi , S2 £ dx 


2, 


因为 iSjv+i = Ci + … + Ov + i ， 其中 Ci ， …， Ov + i 是独立指数分布随机变量，贝 ll 

(练习题 3) 


N 


—a ； Ar + i 


X 


e 


7 V +1 


P { Sn +1 € dXAr + i }= 

由 （16) 和 （18) 式，可见对于（々，•••， a ^ AT + i ) e A iV + l ’ 有 

, Sn e dxN\SN+i ^ da：7v+i} = Nlxjf^dxi ■ - - dxN 


(18) 


dxyv +1* 


N \ 


(19) 


P {5 i G dxi , 

如果 (ari, ••- ,xat + i) i ~ +1 ，则 （19) 式的左侧等于0 

结果，得 




Sn 


P < - ^ dj / i , …，- e dy N S N+1 = xjv+i 

I * JN+l ^> N +1 

N\dyi - - - dj / jv ， 若 （ 2 / 1 ， … ,Vn) ^ 

若 （的 ，…，妨） 《 Aa 


0, 


而由于右侧对 X 7 V +1 的独立性，可得表示式 （15) 的正确性，将其与 （13) 和 （14) 式比 
较,便可证明引理2的结论 

由引理2可见 


n 


s k 


k 


^/ND n (u) — Vn 


( 20 ) 


S n ~^ ~ N ， 


其中“▲”表示左，右两侧随机变量 的分布 等同. 

由（ 2 0)式，有 


S k -k k S n + i—N 

rtl£LX I — ^ - ； —— • 

S N +i k^N I N 

时统计量 VND n ( lj ) 的极限性质,关系式 （20) 非常方便 

由于 N / Sn +]_ ~^ 1 ( P — a . c .)， 则对于亡 € [0,1]，设 

- m 


N 


\^N D ]\[( uj ) 


( 21 ) 


对于研究当 N 


— oo 




VN 
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有 


X t ( N ) - tx[ N) I ( 


lim P{\/]VD^(u ;) 彡 y} = lim P 

N—►OO ” 


sup 

O ^ t^l 


y 


N 


这样，关于统计量 VND n {uj) 的极限分布问题，归结为当 N 


时研究统 


— y 00 


计量 


JC 『- tx ^ I 


sup 

O ^ t^l 


的极限性质问题 


根据中心极限定理 （§4 定理1)，对于每一 固定的 t G [0，1]，随机变量 X t (N} 的极 
限分布，等同于随机变量玖的极限分布 


参数为 E 历= 0和 EB, 2 = t 的高斯 


分布 


实际上，还可以得出更多结论.具体地说，考虑第二章§13引进的布朗运动（维 

纳过程 ）B = (Bt)o^i- 这样的过程在第二章§13,是作为执= 0，EJ5 f = 0且 
协方差矩阵为 EB s B t 

章§ 8 定理1的注 3 ,随机变量«，… ,X t N k ) 的联合分布 pH k ， 弱收敛于随机 
变量 (B tlf ••- ,B tk ) 的联合分布 i^， 

JV) I及其分布，收敛于统计童 sup 0 ^ t<1 \B t - tBi\ 及其分布. 

0彡 G <… < 4 = i，fc 彡1，的弱收 


(s y t) 的高斯过程引进的.于是，结果表明，根据第七 


min 


(关于弱收敛见 §1,2.) 自然想到，统计童 


，亡 fc 


■ ■ ■ 


(N) 


SUPo^^i 




t 


一般说来，有限维分布 

敛（即按§1练习题3的记号， P ⑻ P ), 对于泛函 


N ) 


Pt u 


― > 


， 






^ * 




f ( X ^) 


sup 

O ^ t^l 




的分布收敛于泛函 


/(X) = sup I 不 — tX\\ 


的分布还不充分，其中不 = 玖 (0 1) 是布朗运动. 

不过,对于所考虑的情形确实是这样，这由以下的讨论可见. 

过程 x ⑻ 的轨道属于空间 D = Z)[0,1], 而过程 x 的轨道属于空间 c 
C[0 y 1} CD (见第二章§2第6,7小节)，在空间X)中可以引进“普罗霍罗夫度童 
(在[ 5 ,第三章）中记作办，在 [87, 第四章]中 

是完全可分空间.（第二章§2第7小节定义的，以“斯科罗霍德度量，’ d 为度量的空 
间 (D, 纫， p) 仅是可分的,而对于以后在第三章§2中的 应用普罗霍罗夫定理 还需要 

“密度 ”)， 


P 


5)，度量空间 (D^,p) 关于 p 


P 




关于度量/9,泛函/⑻= SU P0^t^l \ X t - tx l I (显然与 SUp 0<t<1 \x t - tXi I相等）是 

€ D. 从而为证明收敛性 /( 文⑻ ） 4 f(X ) (即按分布收 

敛)，只需证明（空间 （P， 激， y9) 的）弱收敛 P ⑻， P (练习题 2). 


连续的,其中 
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由普罗霍罗夫定理直接引进的，证明这一收敛性的一般方法，基于如下蕴涵关 

系（见练习题3,以及§1练习题3的记 号)： 

([尸 W 4> P ]© [{ P ( n ) } 的密度] ㊉ [^ o { D ) 是定义类] ) 今 (> ⑻ A 


( 22 ) 


(这里, J ^ o ( D ) 是柱 集类; §1第5小节 .） 

在所考虑的情形下，是有限维分布的收敛 P ⑻ I P ， 而柱集类 ^ o ( D ) 确实是 
收敛的定义类 （第 二章 §2 第 7 小 节).当然， 在运用蕴涵关系 （22) 时，最困难的是验 

证所考虑的测度族 { P ^>} 是稠密的.这样的验证基于包含在测度族定义中 （§2 的 
(1) 式）空间乃 的紧集 的性质描述,而这己经超出了本书的范围.（相应的证明，参见 

[5, 定理 15.2],[87, 第六章， 3.21]). 

在这些讨论的最后我们指出，还 f 在证明收敛 /( XW ) S f(x) 的如下途径.间 
断过程 x ⑼可以用如下连续过程 x ⑻逼近，其中对于任意 S > 0和一切 wen , 
以及充分大的#，有 




sup 

O ^ t^l 


因此,只需证明 f ( x ^) 4 f ( x ) t 而这略微简单，因为这时可以不涉及空间乃，而涉 

及比较简单的空间 a 在空间 c 中，至少对于所考虑的情形，“稠密性”准则容易验 

证（[5,第二章]， [87, 第六章]) . 

5. 柯尔莫戈洛夫分布设 = B t - tB^O < f < 1). 这一过程是髙斯过程， 
BS = 0,= 0,而 EB ° S B° t = min (5, f )-5 t 在第二章§13第7小节，此过程曾经 

称做条件维纳过程或布朗桥. 

于是，由以上的讨论得出这样的 结论： 


Jim P {>/ ND n ( uj ) ^ y ] = P < sup \ B °\ < y > , 


(23) 




其中 S 。= ( B ^ o ^ 是布朗桥. 

由布朗运动的理论（例如，见 [5; 第二章， §11]) 知，分布 




称 做柯尔莫戈洛夫分布 ，其中 


k^-2k 2 y 


K { y ) = (-1) 


(24) 


， 2/^0 


这样,有如下结果（柯尔莫戈洛夫) 


Jim P{y/ND N (u;) ^y} = K(y), y^O 


(25) 
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类似的讨论，可得 


Jim P { y / ND %(( j ) < y } 

TV—oo 


(26) 






统计量的分布，比 supo^^j \ B ^\ 的分布简单.统计量 supo ^ t<1 B t ° 


的分布为（见 [5; 第二章， §11]): 


一 2y 


PS sup |^°| 

l0^£<l 


(27) 


1 


， y>o 


有如下结果 （ H. B. 斯米尔 诺夫） 

Jim ^2/} = l 


_ 2 y 


(28) 


， y ^ 0 


— e 


试验与实际的一致性准则现在讨论，由 （25) 式的结果（其中 K ( y ) 决定于 
(24) 式)，可以建立试验与实际一致性的准则.为此,我们首先给出分布 函数尺 ⑼的 

一张不大的数值表： 


肇 


K(y) 


K(y) 


K(y) 


1.10 


0.822 282 


2,10 


0-999 705 


BHBH 


如果 iV 充分大，则可以认为 K ( y ) 给出 P {^/ ND N ( u ;)^ y } 值的很好的近似值, 

自然，如果按匕⑹)，… , 《 N ( CJ ) 的经验值计算的变量 损 V 认 iJ ) 的值充分大,则 
应当否定关于“这些变量的（假设的）概率分布是（连续型）分布函数 F 的 


假设 * 


由上面表中的数值，可以得出关于“这样得到的结论的可靠 程度” 的印象例如， 
若 VND n { u ) > 1. 8 0,则（由于 / r (1.80) = 0.996 932) 可以认为事件 { y / ND N { u ;) 
1.80} 的概率大致等于0,003 068(= 1.000 000-0,996 932), 假如认为“具有这样小的 

概率 （=0.003 068)” 的事件实际上出现的可能性很小，则可以得出 结论： 关于“分布 

为 P{ei ^ x } = F { xf 的假设应当否定，其中恰好是按函数 F { x ) 计算的 ^/ ND n ( uj ) 


> 
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的值.而假如 VND n (cj) ^ 1.80,则（根据大数定律)可以认为在1 000 000次这样的 
情形下,大致有996 932次“经验与理论”是一致的. 

注需要着重强调，在运用基于“柯尔莫戈洛夫分布和斯米尔诺夫分布”的一 
致性准则时，（用于检验的）分布函数 F = F(x) 是完全确定的.譬如，只知道分布函 
数 F = F(x) 属于分布函数 G{x;9) 的某个参数族 G^{G = G(x;9);9 € 0}, 而且 

G ( X] 0) 依赖于参数0 e ㊀ .这时,强求使用如下检验“经验数据与符合真实分布函数 

F e F” 途径： 首先根据 iV 个观测值建立参数 0 的估计，然后计算 


^ y/N sup \F n (x;lj) — G{x] ^jv (^))| 5 


并且像前面的例子一样釆取相应的决定.遗憾的是，分布函数 G n (x;0 n (lj)) 是随机 
的，而统计量 5^(0；) 一般不再是柯尔莫戈洛夫分布. 

因此，在这种情形下，关于如何检验假设 : F G G ， 参阅 [132]. 

7. 练习题 

1. 证明 （18) 式. 

2. 证明，如果（在空间 （ D , 多， p ) 中） P ⑻ ' P ， 则 /( XW ) 4 /( X ). 

3. 证明蕴涵关系 (22). , 



书文献资料 


(第一章〜第三章) 


序 S 


在托德汉特 （ I . Todhanter ) 的专著 [68] 中，陈述了拉普拉斯之前概率论的历史. 

发表在《论文集》 [45] 中的，格涅坚科和舍伊宁 （ O. B. IIIeiiHHH ) 论文中，介绍了 
从拉普拉斯到 I 9 世纪末的时期.在斯蒂格列尔 （ M. S. Stigler) 的书 [122] 相当详 

细地介绍了 1900 年以前的概率论和数理统计史.在迈斯特罗夫（几 E. MaiicTpoB) 

的书 [44] 中,概率论的历史，从概率论出现一直叙述到20世纪30年代.在格海 mn 

的教科书 [15] 中有概率论历史简介.关于概率论许多术语的起源，可参见亚历山大 
罗娃 ( H . B . AjieKca ^ poBa ) [2]. 

关于概率论的基本概念，参见下列作者的 书籍： 柯尔莫戈洛夫1321，格涅坚科 
[15], 博罗夫科夫 [7], 格涅坚科和辛钦[17]， A . M . 亚格洛姆和 M . M . 亚格洛姆 （ A . 
M . Hfjiom 和 M . M . ilrJiOM ) [83], 普罗霍罗夫和罗扎诺夫的手册[ 56 ]，手册[郎]以 
及译自英文的书:费勒[ 69 ]，奈曼 （ K ). HeiiMaH ) [51], 洛埃甫 ( M . Loeve ) [42], 杜布 （ J . 
L . Doob ) [20]. 这里还要指出包含大量概率论题目的梅沙尔金 （ JI . 几 MenrajiKHH) 
和基辅“高等学校”出版的习题集丨461和 [67]®. 

在编写这一部教学参考书时,作者使用了各种不同的文献.在英文教材和教学指 

南中,我们特别指出如下图书:布雷曼 ( L . Breiman )[8] ,比林斯利 （ P . Billingsley ) [106], 
阿什 （ R . B . Ash ) [80],[81], 阿什和加德钠 （ M . F . Cadner ) [82], 达雷特 （ H . Durrett ) 
[108 卜 [110], 兰珀蒂 （ J . Lamperti ) [37]. 本书的作者认为这些文献是成功传授知识的 


@ 乌克兰文图书.——译者 
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典范 


关于概率论和数理统计方面的有益的参考资料，读者可以利用《苏联大百科全 
书》，《苏联小百科全书》和《数学百科全书》① [121], 以及百科 全书： 《概率论和 

数理统计》 [125]. 

于1956年创刊的杂志《概率论和数理统计》（出版社 “ HayKa ”)， 是俄罗斯出版 

的、概率论和数理统计方面的主要的刊物. 

由全联盟科学与信息研究所（莫斯科 BHHHTH ) 《文摘杂志》 （ « Pe < J ) epaTHB - 

wypnaji 》 ），刊登俄罗斯以及其他国家发表的“概率论和数理统计方面”论文的 


HMH 


摘要， 


有关概率统计大部分实际应用需要数值表，可以使用博利舍夫 （ JI . H . Bournes ) 
和斯米尔诺夫 （ H . B . Cmhphob) 编著的《数理统计表》 [6]. 在当前广泛使用电 
子计算机技术的条件下，最好利用统计软件 MINITAB , SPSS , 

“ Mathematica ®” （见书 [126]). 


人们广泛采用 


_3^ 

第—早 


§1. 关于概率模型的建立，参见柯尔莫戈洛夫的论文 [31], 格涅坚科的书 [15]. 涉 

及“按箱分配质点”类型的问题大量的资料，参见科尔钦 （ B , Ko ^ hh ), 塞伐斯 

契雅诺夫和奇斯佳科夫 （ II . B . Mhcthkob) 的书 [34j. 

§2. 关于在统计物理中出现的概率模型（特别，一维伊金格 ( Ezenger ) 模型)，例 
如，可以参见伊西哈尔 （ A . Mcwxap ) 的书 p 5]. 

§3. 贝叶斯公式和定理，是数理统计中所谓贝叶斯方法的基础.例如，可以参见 

德格鲁特 （ M . H . deGroot ) [18] 和扎克斯 （ S . Zacks ) [22]. 

§4. 关于随机变量及其概率特征,可以参见习题集 [46 j 和丨671 . 

§5. J . 伯努利引进的大数定律的组合证明，例如可以参见 [69, T . I ].关于大数定 
律的试验解释,见柯尔莫戈洛夫的论文 [31]. 

§6. 有关局部和积分定理，以及泊松定理中的偏差，见博罗夫科夫 [7] 和普罗霍 


罗夫 [54]. 


§7. 这里叙述的内容,是通过伯努利概型的例子，演示某些基本概念和数理统计 

方法 • 关于详细资料,例如参见克拉默 （ H . Cramer ) [35 j 和范德瓦尔登 （ B . L . van der 

Waerden ) [10]. 

§8. 通过考虑关于分割的条件概率和条件数学期望,可以更好地掌握下面将要引 
进的，较为复杂的关于 C 7- 代数的条件概率和条件数学期望的概念. 

§9. 实际上，这里所引进的“破产问题”的形式拉普拉斯就已经考虑过.关于这 
一问题亦可参见文集[ 4 5]中格涅坚科和舍伊宁的论文.在费勒的书 [69, T . I ] 中有该 


©中 译本： 《数学百科全书》，第 一卷〜 第五卷,科学出版社，1994 - 2000年，北京.——译者 
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问题的丰富的资料. 

§10. 这里的内容基本上是按费勒的书叙述的.在论文 1191 中有关系式 （ 10) 

和 （11) 的证明. 

§11. 在杜布的书 [20] 中，详细地阐述了鞅论.例如可以在费勒的书 [69,T.I] 中找 

到“表决”定理的其他证明. 

§12. 马尔可夫链大量资料包含在下列 书中： 费勒 [69,T.I], 邓肯 plj ， 邓肯和尤什 
克维奇 （ A. II. lOmKeBHM), 钟开莱 [75],[120], 雷夫尤兹 （几 Revuz) , 凯麦尼 （ J. G. 

Kemeny) 和斯奈尔 （ J. L. Snell) [27], 萨雷姆萨科夫 （ T, A, CaptiMcaKoe ) [61], 西拉 

_ 

日季诺夫 （ C. X. Chpedkahhob )[64]. 塞伐斯契雅诺夫 （ B. A. CeBacTbHHOB) 的专 
* [62] 《分 枝过程》. 


§1. 关于柯尔莫戈洛夫公理化体系见 [32 j . 

§2. 关于代数的资料，亦见下列 图书： 柯尔莫戈洛夫和福明 （ C . B . $omhh) 

[33], 奈维尤 （ J. Neveu) [49], 布赖曼 [S], 阿什 [81]. 

§3. 卡拉泰奥多里定理的证明，参见下 列书： 洛埃甫 （ M . Loeve ) [42], 哈尔默斯 

(P. R. Halmos) [70]. 

§4 〜 §5. 在哈尔默斯的书 [70] 中大量关于可测函数的资料. 

§6. 亦见下列 图书： 柯尔莫戈洛夫和福明 [33 ]， 哈尔默斯 [70], 阿什 [81]. 在这些 

书中还有拉东-尼科迪姆定理的证明.有时，把 


e 2 


P{|CI 


2 


称做切比雪夫不等式，而把 


P 船以1， r>0, 


• 称做马尔可夫不等式. 

I 

§7- 关于代数的条件概率和条件数学期望的定义，是柯尔莫戈洛夫引进的 
[32]. 在布赖曼间和阿什 [81] 的书中，有所考虑问题的广泛资料. 

§8. 亦见下列图书:博罗夫科夫 [7], 阿什 [81], 克拉默[35]，格涅坚科 [15] 

§9. 柯尔莫戈洛夫关于“具有给定有限维分布过程的存在性”的定理见他的专著 

[32]. 关于图尔恰 （ I . Tulcea ) 定理，亦见奈维尤[49】，阿什 [81]. 这里进行的证明遵循 


_ 


[81] 


§10 〜 1L 亦见柯尔莫戈洛夫和福明 [ 3 礼 阿什 [81], 杜布 [20 ]， 洛埃甫 [42]. 

§12. 特征函数理论在许多图书上都有, 例如： 格涅坚科[15】，柯尔莫戈洛夫和格 

涅坚科 [16], 拉曼钱德兰 （ B. Lamanchandran) [57]. 所介绍的矩和半不变量的联系按 
照列昂诺夫 （ B. n. JleoHOB) 和施利亚耶夫的论文 [40], 






图书文献资料 
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§13. 亦见下列图书：易卜拉给莫夫 （ M. A. H6parHM0B), 罗扎诺夫 [24j, 布赖曼 
[8], 利普彩尔 （ P. III. Jlunuep) 和施利亚耶夫 [ 叫， 格里米特 （ G. R. Grimmit) 和斯 

特扎克 （ D. R. Stirzaker) [105], 兰拍蒂 [371. 


第三章 


§1. 关于概率测度和分布的弱收敛，在下列书中有详细的 陈述： 格涅坚科和柯尔 
莫戈洛夫[16]，比林斯利 [5]- 

§2. 普罗霍罗夫定理在他的论文 [55] 中. 

§3. 格涅坚科和柯尔莫戈洛夫的专著 [16] 的内容中，有概率论的极限定理证明 
中的特征函数方法.亦见比林斯利问.练习题第2题 包括. • J . 伯努利大数定律，泊松 
大数定律,假设满足条件: 6,6,--* 独立，有0和1两个可能值,但一般有不同的分 
布，艮 P P {& = 1} = pi , P = 0} = 1 ~ ^ 1. 

§4. 这里,在林德伯格条件成立时,进行独立随机变量之和的、中心极限定理的 

传统证明.对照 [16],[92]. 

§5. 在没有极限可忽略的条件下，中心极限定理成立的条件问题，曾引起 P . 列 

维的注意.在佐洛塔廖夫 （ B , M . 3ojioTapeB) 专著 [88] 中详细地介绍了，极限定理 
理论在非 经典提 法下的现状.罗塔里 （B. M. PoTapb) [96] 给出了定理 1 的提法和证 


明- 


§6. 这一节利用了下列图书的 资料： 格涅坚科和柯尔莫戈洛夫的专著 [16], 阿什 

[81], 彼得罗夫 （ B. B. IIeTpoB)[ 53],[92]. 

§7. 莱维_普罗霍罗夫度量，是普罗霍罗夫在其著名的著作 [55] 中引进的，定 
义在_量空间上的、测度之弱收敛的可度量性的结果也属于普罗霍罗夫.关于度量 

|| P - P ||^ jr , 参见达德利 （ R . M . Dudley ) [85] 和波拉德 （ D . Pollard ) 的书 [93]. 

§ 8 .定理 1 属于斯科罗霍德 （ A. B, Ckopoxoa )• 关于 “一 个概率空间方法”的有 
益资料,可以在下列文献在 找到： 博罗夫科夫1999年教学参考书，专著波拉德 [33]. 

§9 〜 10. 我们列举包含“关于所涉及问题”大量资料的一系列图书：扎克德 （ J. 

Jacod ) 和施利亚耶夫[ 87 ]，卡姆 [ L . Le Cam J [89] ,格林伍得 （ P. E . Greenword ) 和施 
利亚耶夫 [ 84 ], 莱斯 （R Liese ) 和威伊达 （ I . Vajda ) [90]. 

§11. 在彼得罗夫的专著 [92] 中，有关于中心极限定理收敛速度估计的大量资料. 

所引用的贝里和埃森定理的证明，包含在格涅坚科和柯尔莫戈洛夫的专著 [16} 中. 

§12. 证明借鉴普雷斯曼 （ I. L. Pressman) 的文章 [94J. 

§13. 关于数理统计的基本定理的补充资料,参见 [8j,[35],[58],[106],[10rj. 
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IP - 收敛275 
JB { C ) 155 

JB [ p ) 156 
( E ,^) 185 

U - 曲线 99 

A -系 144 
-入—系 144 
一系 144 

X 2 分布 163, 262 

F 分布 163 
B 分布 163 
r 分布 163 
t 分布 163, 263 

分布 262 


巴拿赫空间283 
半不变量,混合的312 

简 单的〜 314 

半范数281 

半连续函数343 

邦弗尔罗尼不等式15 

贝尔不等式44 

贝里_埃森不等式61, 363, 406 

贝塞耳不等式288 

贝叶斯定理26 

〜定理 ，广义的242 
〜 公式25 
本质上确界283 
“表决”定理104 
必然事件9 

变差接近程度392 
遍历性115 
遍历性定理115 

标准差39, 254 

标准概率空间268 


丌 


丌 


X 


A 


埃尔米特多项式292 

埃森不等式319 
按变差收敛392 

按分布等价性（相等 ） 386 

按分布收敛275, 355, 385 

按箱分配质点7 
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伯恩斯坦多项式53 

〜 估计量54 
伯努 利概型44, 54 

〜系列 357, 363 

泊松-沙利耶多项式293 
博雷尔 不等式334 

〜 代数149 
〜 函数178 
〜集 149 

〜一 坎泰利引理277 

〜空间 241 

博弈平均持续时间82 

博泽-爱因斯坦统计8 

不变原理367 
不等式 ，埃森319 

邦弗尔罗尼 


延森（条件数学期望) 
延森〜 201 

不可能事件9 
不利博弈86 

不确定性度量51 
不放回抽样6, 7, 20 
布尔不等式140 

蒲丰针236 
布朗桥 332 

~运动330 
〜运动的结构330 
〜 运动过程330 


251 


C 


超几何分布20 

测度，（相互）奇异的398 
测度，（相互）正交的398 

带符号的 

等价的〜 


15 


贝尔 


44 


贝里- 埃森〜 61, 363, 406 
贝塞尔 

博雷尔 

布尔〜 

大偏差概率 


391 


288 




398 


334 


概率 


135 


140 


计 数的〜 394 

绝对连 续的〜 163, 204, 398 

可加的 

勒贝格〜161，166, 168 
勒贝格-斯蒂尔 切斯〜 161,165 

离 散的〜 162, 394 


68 


范数 


281 


135 


a— 


弗雷歇 
冈贝尔 

赫尔德 

柯西-布尼亚科夫斯基 


15 


16 


202 


内 


37, 


162 


201 


奇异的〜164, 165 

外〜 161 

完备的〜 

完全可加的 
n 维勒贝格 


柯西-施瓦兹 

拉奥-克拉默 
李雅普诺夫〜 

闵可夫斯基〜 

切比 雪夫〜 （二维情形) 

切比雪夫 

斯莱皮恩 
施瓦兹~ 


37 


71 


161 


201 


135 


202 


168 


维纳 


175 


优（强) 


46, 200 


463 


有限的 

有限可加 产 


334 


135 


a— 


37 


134 
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原子的 

在 “0” 连续的 

测度的绝对连续性204 

~开拓159 

〜收缩172 

〜直积29 

测度序列的临近性400 

〜，完全可区分的401 
〜，相互临近的401 
〜的完全可区分性401 

充分统计童246 

〜子 a - 代数(最小的 ） 249 

〜子 (7 -代数246 


导数，拉东-尼科迪姆204 

勒 贝格〜 398 
等价测度398 

等价随机变量281 

邓肯 d - 系144 

第二 博雷尔-坎泰利引理284 

〜类错误392 

〜类错 误概率392 
第一 类错误392 

〜错 误概率392 

棣莫弗-拉普拉斯积分定理60 

定理， 贝叶斯25, 241 

贝里 -埃森 
毕达哥拉斯〜298 

遍历性〜 il 5 

测度 开拓〜 169, 173 
单 调类〜 142 
单调收敛〜194 

棣莫弗-拉普 拉斯〜 

对于特征函数的波利亚 

傅 比尼〜 207 

格里汶科和坎 泰利〜 411 

关于单调类的函数形式〜 

关于条件数学期望号下收敛性 
过程的存 在性〜 268 

赫利〜350 

赫利-布雷〜347 
卡拉泰奥多里〜159 
拉奥-布莱克 韦尔〜 251 

拉东-尼科 迪姆〜 204 
莱维〜224 

勒贝格积分中的变童替换 
勒贝格控制收敛〜 

连续性〜353 

马钦凯维奇〜310 
麦克米兰〜52 


284 


136 


61，406 


抽彩13 

抽样，不放回的6,7,20 

放回的 

稠密随机变童序列401 

初始分布110 

垂线 288, 297 


5, 7 


60 


310 
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大偏差68 


〜概率 不等式68 

大数定律 44, 49, 356 

伯努利 
泊松〜 

马尔可夫链 
代数 ，集合诱导的141 

135, 141，182 

随机变量诱导的 
分割诱 导的〜 

〜的直积150 

带符号测度391 
单调类 142 


148 


23( 


48 


357 


1 X 7 


(J 一 


182 


183 


206 


196 


类定理142 
收敛定理194 
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定义类345 
定义收敛类345 


曼- 沃尔德〜388 


默瑟 


333 


泊松〜 62, 357 
庞加莱〜368 
普罗霍罗夫〜349 

图尔恰~ 270 
维尔斯特拉斯〜53 

斯通〜 305 
伍拉姆〜352 
向童形式的正态 相关〜 328 
辛钦-博赫纳〜309 

因子分解〜247 
正态相关~ 258 

中心 极限〜 353, 356, 359, 364, 369 

定义类345 
独立性23, 27 

事件(集合)的〜27, 28, 48 

集合代数 

代数〜146 
集 系的〜 27 


E 


二维髙斯密度257 

二维切比雪夫不等式54 

二项分布16 

〜随 机变量33 


F 


法（方法)，矩353 

〜 ，特征函数353 
〜， 一个概率空间385, 387 

法图引理196 
反射原理92 
反正弦律92, 97 

范基度量386 

范数281 


27, 28, 49 


^7 — 


半 


281 


方差39, 254 

样本的 


vi r ， ti i * 

两两 


28 


266 




随机变量的 

随机元的〜187 
线性~ 289 

增量的 

独立增量过程331 

度量， 范基386 

莱维- 普罗霍罗夫〜381 

对数的主值361 

多维超几何分布20 

多项分布19 

多项式 


34 


方程 


更新〜 273 

后向柯尔莫戈洛夫-査普曼 


331 


113 


柯尔莫戈洛夫-査 普曼〜 112, 


269 


前向柯尔莫戈洛夫-査普曼 


114 


非负定矩阵255 
非经典条件369 
非相关性41, 254 

费希尔信息量71 

弗雷歇不等式15 

分布， X 2 (卡方）163, 262 

F ~ 163 


埃尔 米特〜 292 

伯恩 斯坦〜 53 

泊松-沙利耶〜293 
賦范泊松-沙利耶~ 293 
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维 高斯〜 168 


B ~ 163 

尸〜 163 
t ^ 163 ? 263 


稳定 


376 




学生〜 163 ， 263 

在 [ a , 6] 上 均勻〜 

正态 〜 64，163 

〜的卷积 261 
〜的熵 50 

~的相合性（等价性 ） 373 , 3 明 


163 


262 


X 


贝塔 


163 


遍历 


117 


伯努利 

泊松〜 63, 162 

不变 

超 几何〜 20 


33 


分布函数 33 


117 


广义 


165 


随机变量的~ 33, 179 

随机向量的 


乘积 


21 


初始 


34 


110 


维 


对数正态 


167 


260 


稳定 


多维 


376 


34 


无限 可分〜 373 
正则〜 239 

分割10 


多维超几何~ 20 


多项 


19 


二项 


16, 33 


的原子10 


负二项 
伽玛 （ r ) 〜 163 

概率〜 32 
髙斯〜 64, 163 

过程的概率 


178 


r\j 


分解 392 

勒 贝格〜 

分配问题 7 
分位函数 387 
分支过程112 

封闭线性流形 291 

弗米-狄拉克统计8 

复数值随机变童 185 
傅里叶变换 299 
陚范埃尔米特多项式 292 
赋范泊松-沙利耶多项式 293 
放回抽样 5,7 


398 


186 


几何 


162 


卡方〜 163, 262 

柯尔莫戈 洛夫〜 
柯西 

离散均匀 
离散型〜 

逆二项〜 

帕斯卡~ 


418 


163 




162 


162 


178 


162 


平稳 


117 


G 


奇异 


164 


双指数~ 

双指数分布 
随机向量的概率 

韦 布尔〜 265 


概率，第一和第二类错误的 392 

古典型 

结局的 

破 产的〜 82, 86 


163 


265 


12 


34 


11 
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“成功”概率的〃 

伯恩斯坦〜54 
均方 最优〜 41，257 

无偏〜 69,251 

相合 

有效~ 69 

最大似然〜22 

最优 线性〜 41，288, 297 

关于条件数学期望号下收敛性的定理 


首次进入状态 J 的 
首返状态 j 的〜 

验后的〜26 
验前的〜26 

概率测度135 

概率 空间，完备的161 

有限维的〜268 

~的直积29 

概率论的公理138 

概率模型 69, 246 

广义的 

概率-统计模型69, 246 


126 


69 


126 


69 


230 


广义贝叶斯定理241 

~分布函数165 

〜随机变量180 

规范正交可数基底291 
规范正交系287 


134 


试验 


246 


冈贝尔不等式16 
高斯分布的半不变童315 

分布的均值，方差254 
过程330 

一马尔可夫过程269, 332 

随机变量262 

系统323, 329 

向量,分量独立性准则326 
向量323, 326 

序列330 

克拉默-施米特正交化290 
更新过程272,273 

公式 


过程 


布朗 运动〜 330 
独立增量 


331 


分支 


112 


高斯 


330 


高斯-马尔可夫 

更新〜 272 
马尔可夫~ 269 

条件维纳 


332 




332 


维纳 


330 


过程的典型轨道51 

〜 的轨道186 


贝 叶斯〜 

分部积分〜 

概率的乘法 
联系矩和半不变量 


25 


217 


25 


哈尔系293 

赫尔德不等式202 

海利-布雷引理347 
海林格积分395 


312 


逆转 


306 


全概率 

数学期望的 换算〜 
斯 特林〜 21 

条件数学期望的换算 

估计量41，257 


25, 75, 77 


205 


半连续 
狄利克雷~ 221 


244 


343 
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分布〜 33, 64 


基本性，阶平均收敛的275, 282 

依概率收敛的〜275, 280 

以概率1收敛的 

极限可忽略性369 
集合代数的独立性27, 28 
集合138 

〜并 9 

〜差9, 138 

〜 对称差42, 138 

〜和 10 

〜交9, 138 

集合的代数138 

分割诱导的〜 

平 凡的〜 10 

集系的独立性27,28,90 
几何概率236 
几乎必然193 

〜 收敛275, 386 

〜收 敛的柯西准则280 

几乎处处193 

计数测度394 

简单随机变量178 
建立过程的坐标方法268 

渐近小条件369 

〜绝对连续性401 
〜 奇异性401 
〜完全可分性401 
〜小性369 

p 阶平均收敛275 
结局4 


更新 


273 


哈尔 


295 


275, 280 


集中 


321 


可测 


178 


r\j 


拉德马赫 

不性〜 32 

误差 


294 


rs./ 


65 


分布 


411 




经验 分布〜 411 

函数的适当集合148 
哈恩分解392 
恒等式 


10 


庞加莱〜 

斯皮策〜 

瓦尔德~ 

后向方程114 

〜的矩 阵形式113 

柯尔莫戈洛夫-査普曼 
换元积分法221 

回归曲线258 
混合矩312 


15 


223 


104 


113 


积分，海林格395 

勒 贝格〜 190 

勒贝格-斯蒂尔切斯 

黎曼〜 214 

黎曼一 斯蒂尔切斯 卜 


191,207 


191，207 


上 


215 


下 


~的巴拿赫空间283 

〜的概率11 
经典分布16 

〜模型16 

局部极限定理49,55 

矩191 


215 


积分定理49, 60 

基本事件4 


~的巴拿赫空间4, 138 

〜的概率11 
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(依概率收敛 ） 28 0 
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可测空间135 

-(肢， j ( R )) 148 

〜 ( R n ,^( E n )) 150 

〜 ( R 00 ,^^ 00 )) 152 

〜 ( R r ,^( M T )) 153 

- ( C ^( C )) 155 

^( D ^{ D )) 156 


混合〜 312 
绝对〜 191 
〜法 353 

〜 母函数 223 
〜 问题，唯一性准则 317 


r^j 


矩阵 


非负定 
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随机 
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伪逆〜333 

协方差的 

转移概率的〜110 
〜代数性质 

卷积，分布的261 

绝对连续 测度163,204,398 

〜随机变量178 
〜 型概率分布163, 204, 398 
绝对连续性 204 

测度的〜204, 401, 398 

概率分 布的〜 163, 401 

渐 近的〜 

均方收敛275 

〜误差257 

〜最优估计量42, 256 


( 11 ^ 1 ^) 

\teT t£T / 


255, 325 


r^j 


156 


可测性，关于分割的78 

發-可测性78 

可加测度135 
可交换事件组140 

可逆鞅102 

可数可加性135 
可重置事件组140 

克罗内克符号292 

空集138 

# 

空间 L^(p > 1) 的完备性282, 283 
空间的直积29, 156 
库尔贝克信息量400 


a— 


400 


均值36 
均值向量325 

卡尔莱曼矩问题唯一性准则318 

卡尔莱曼准则（矩问题的唯一性 ） 318 


L 


拉奥-克拉默不等式71 
拉德马赫系294 
拉东-尼科迪姆导数204 
莱维-普罗霍罗夫度量3釘 

勒贝格测度161，165, 169 

〜导数398 
〜分解398 

~积分190 

〜 集合系161 

〜-斯蒂尔切斯测度161,165 
〜-斯 蒂尔切斯积分191，207 


K 


康托尔函数164 
柯尔莫戈洛夫公理化138 

柯尔莫戈洛夫-莱维—辛钦表现376 

柯西-布尼科夫斯基不等式37, 201 
柯西_施瓦兹不等式37 

柯西准则 （几乎必然收敛 ） 280 

~ 1阶平均收敛 ） 282 
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类，单调142 
类，最小单调142 

累积量312 

离散型测度162 
离散时间随机过程 
离散型随机变量 

黎曼积分 

黎曼_斯蒂尔切斯积分191, 214 

李雅普诺夫不等式201 
连续时间随机过程 
连续型随机变量 
链的吸收状态110 

两两独立性28, 41 


N 


维分布函数167, 168 
维高斯分布的特征函数323 

维勒贝格测度168 
内测度162 


71 


n 


P 


帕塞瓦尔等式291 

排列组合12 
庞加莱恒等式15 

匹配（或标准 ） 邪1 
频率45 

平均平方收敛275 

〜收 敛的柯西准则282 
〜随机游动时间88 

平稳的马尔可夫链117 

破产概率82,86 

破产问题83 
普拉特引理222 


M 


马尔可夫过程269 

马尔可夫链109, 110, 272 

平稳的 
齐次的 

〜的试验模型108 
〜状态 的巴拿赫空间110 
马尔可夫性110 
麦克斯韦-波尔茨曼统计8 


117 


110 


Q 


齐次马尔可夫链110 

奇异测度164, 398 

(相互 ） 邪 8 

前向方程113 

~的矩阵形式113 


密度 




二维髙斯〜16纟; 256 

条件概率分 布的〜 

n 维高斯分布的〜 
闵可夫斯基不等式202 
模型，概率-统计69 

马尔可夫链的 试验〜 

无限多个结局的试验 
一维伊金格 

有限多个结局的试验 

母函数223 


235 


168 


强测度394 

强大数定律，辛钦348 
强马尔可夫性125 

切比雪夫不等式46, 200 

切萨罗求和法284 

求概率的古典方法12 

区分假设393 
全概率公式24, 75, 77 


108 


133 


21 


11 
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权（重 ） 11 


按变差〜392 
依 分布〜 275, 355, 385 
几乎 必然〜 274, 386 
p 阶平均〜274 


R 


弱收敛340, 341 

的可度童性381 


均方 


274 


平方 平均〜 275 
弱〜 340, 341 

依测度 

依分 布律〜 275, 355, 385 
依 概率〜 274, 386 

依概率1 

首次进入状态 i 的概率126 

4 

首返时间92 
首返状态 j 的概率126 

数理统计49, 69 
数理统计的基本定理411 

数量积286 

数学期望36, 189, 190 

条件〜77, 225, 227 

〜 （条件期望的性质 ） 2油 

〜的性质37, 192 

随机变童函数的/ 

顺序统计量265 
斯莱皮恩不等式334 

斯鲁斯基引理283 
斯皮策恒等式223 

似然比107 
随机变量 32, 214 


274 


散布程度39 

熵50 
上积分215 
上积分和213 
上黎曼积分216 


274, 386 


时间 


混合312 

绝对 
首返〜 92 

停止〜102, 83 

示性函数32 

集合的 


191 


32 


事件8 


代数10 


39 


必然 


9 


不可能 

〜的独立性27 


9 


并9 


不 相容〜 10 


差9 


对立 


10 


二项 


交9 


33 


复数值 


相容 


185 


10 


高斯 


补9 


254 


广义 


代: 


180 


10 


和10 


几乎不变~ 179 


试验29 

适当集合原理143 

收敛，275 


简单 


178 


绝对连续 

离散型〜 


179 


178 
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稳定〜 376 
无限可分〜374 
随机 变量的 独立性34, 187 

〜完备序列401 
〜正交规范系287 

〜随机数112 

随机分量219 

-函数186 
~矩阵110 

〜向童 34 
〜 序列330 

〜 游动82, 92 

〜元 （素 ） 184 

〜元 （素）的独立性 I 87 


正则〜 238 
〜分 布密度235 

条件数学期望80, 101，102, 227 

关于 cr — 代数的〜226 
关于事件的 

关于随机变童的〜80, 227 

广义的〜288,297 

〜性质 228 

〜的法图引理253 
〜 的延森不等式251 

条件维纳过程332 

统计独立性27 
投影288 


179 


225, 233, 234 


W 


瓦尔德恒等式104 

外测度161 

完备性292 

测度161 
概率空间161 


T 


特征函数 299 


稳定 


376 




稳定分布的 
无限可分〜 

〜 的例319 
〜法353 

〜 性质301 

条件,极限可忽略369 

渐近小 
李亚普诺夫 

林德伯格〜 

一 致性〜 

条件方差 

关于 a - 代数的 
关于分割的〜 

条件概率 23, 225, 227 

关于 a - 代 数的〜 

关于分 割的〜 75, 225 

关于随机变童的 


379 


完备化161 

完全可加测度134 

可区分的测度序列401 
相对列紧测度集349 
正交规范系291 


373 




网络110 

望远性79 


369 


r^j 


362 


第一 


362 


228 


第 


174, 267 


228 


维纳测度175 

〜过程 330 

〜过程,条件的331 
伪逆矩阵333 
稳定随机变量376 

无偏估计量69, 251 
无限多个结局的试验模型133 


22 T 


81 


227 


227 
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鞅100 


无限可分随机变量373 

无序样本5,6,7 

无重复的置换5 
无重复组合5 


逆 


102 


样本方差254 
样本均值254 

一个概率空间方法385, 387 

一 维伊金格模型21 

一致可积性197 

一致性 169, 173 

〜 条件174, 267 
〜准则419 

伊金格模型21 

依测度收敛274 
依分布收敛275, 355, 385 

依分布律收敛275, 355, 385 
依概率收敛274, 385 

〜的柯西准则280 

〜可 度量性381 
以概率1收敛274, 386 
因子分解定理247 


X 


希尔伯特空间287 

可分的〜 

下积分215 
下积分和213 
下黎曼积分215 
显著性水平72 

线性独立性 289, 290 

线性流形（封闭的 ） 卽1 
线性流形288 

线性相关性40, 254 
相对紧性348, 349 
相对列紧测度集349 
相关系数40,254 

最大〜264 
相合估计量69 
相互临近的测度序列401 

相空间110 

协方差40, 254 

〜函数 330 

〜矩阵 255, 325 

信息量，费希尔 n 

库尔 贝克〜 400 

施瓦兹不等式37 
序列紧性350 

选排列数6 


291 


引理 


博雷尔-坎泰利 


277 


法图 


196 


法图（条件数学期望） 

普拉特〜 

斯鲁斯基 
优（强）测度 3 M 

有限测度135 

有限多个结局的试验模型 11 

有限可加测度133 
有限可加概率134 

〜测度134 

有限维分布函数267 

有限维分布意义上的基本收敛346 
有限维概率空间268 

有限维经验分布函数411 
有效估计量70 


253 


r\j 


222 


283 


(7 — 


Y 


延森不等式201 

验后（后验）概率26 
验前（先验）概率26 
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有序样本5, 6, 7 

有重复组合5 

原理， 不变367 


指数族250 

置信区间 69, 72 

~的水平72 

〜的 置信度72 


反射 


92 


中位数43 

中心极限定理353, 356, 359, 364, 369 

-的收敛速度405 


适当集合 

原子 284 

分割的〜 

〜测度284 

P- 原子284 

允许重复的置换5 


143 




10 


重合问题12 

柱集152 

转移概率 110,269 


步 


126 


71 


矩阵110 


组合数5 

最大似然估计量21 

最大相关系数264 

最小单调类142 
最小子 a - 代数142 
最优线性估计量41, 288, 297 

坐标方法（建立过程的 ） 268 


在 “0” 连续测度136 

增长点164 

增量的独立性331 
正交测度398 

〜分解297 
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〜随机变量系182, 287 

正态相关定理的向量情形328 
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常用数学符号 


实数的集合,实直线，一维欧几里得空间 


=( — 00 , 00 ) 

卜 =[0, oo) 

=[― oo , oo ] -扩充实直线 ： R = M ( J { — °°} U {°°} 

_ = [0, oo] 


有理数的集合 


Q 


Q+ = QH M + 


d 


d 维欧几里得空间 


N — 自 然数: {0，1，2，，..}或{1，2，".} 

Z ——整数的 集合： {0,土1， ±2,..-} 

复数的集合 


C 


(a, b) ^ {x £ 


a < x < 6}, [a, b] — {x E 


彡 ； r < 6} 


: a 


(a y b] = {x G 


a < x [a, 6) = {or G 


< x < 6} 


a 


集合 x g I 的下界 
集合 xcr 的上界 


infX 


supX 

inf 

n^m 

sup x n 

n^m 


集合 X = { x mj x m+u } 的下界 

集合 X = {x 


X 


} 的上界 


Tm+1 ， 


如果彡1，贝 [| 


lim infx n = lima: n 三 sup inf x n , lim supx n = limx n 三 inf sup x 

n ^n m^l n ― ►oo 

lim x n = x ^ limx 竹 =limx n = x <=> li 


^ x ^ limx 


m 


x 









sign x 




( 有时，当 ; r > 0 时，设 sign = 1; 当 :r < 0 时，设 sign = —1) 

其中 n e {1 ， 2,…} ，表示 limx 
t 表示 xi ^ X 2 ^ ； x n 1 x 表示 ： r n 丁且 lima ； 

氪矿 …—— *■ 

丄表不 Xi > X 2 > 


X n — > X, 


=X 


n 


X 


=X 


n 


n 


n 


;x n I x 表 7F x n \ M. lim x n 


X 


X 




* • « 


n 


= max(a;, 0) ， x~ = — min (a;, 0) 

S ^ ^ / o, 

若 x = 0 

x\/ y = max(x^ y),x Ay = min(x, y) 

[rr ] 或 M 
M —— 大于或等于 x 的最小整数 

sign x - 实数 ; r 的符号： 


x 


x 


㊉ 一 


x 


0, 


不大于 x 的最大整数 




对于实数 


An T 表示 AiC A 2 Q- - ; An ^ A 表示 A n ] R \JA n = A 

A n l 表示 Ax D A 2 D - - ;A n i A 表示 A n I K C\A n = A 

lim sup 人，或 iSiL4 „ ，或 f] ( \J A n 

集合 

liminM n ， 或 \JmA n , 或 U I fl 4 1 —— 属于所有（仅可能有限个 A 除外）集 


属于无限多个集合 i n (n > 1 ) 的点的 


m^l \n^m 


\n^m 


,Xd) 的欧几里得范数 ， P ^/x\ + … • + # 

(A ， … ， : Trf ) 和 y = [yu … ， yd) 的数董积，即 Xiyi + ^- + x d y d 


\x\ - X = (xi, 

y 或 （ x ， y) 


X 


X 






集合论 


的共轭复数 


z = a — ib 


z 


的模卜 Va 2 + b 2 ) 


z 


z 




的实部和虚部 : Re 


Re 之和 Im 


a^lm z = b 


z 


z 


z 


_ ■ 


对于维欧几里得空间 IR d 


n 


对于复数 


+ 其中 a, & € R， i = y /^ 1 是虚单位 


z = a 






常用数学符号 
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若若若 
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常用数学符号 


合 yl n ( n > l ) 的点的集合 
或 1( A ) ——集合4的示性函数 
{' * ' } -集合 


学符号 


《 -绝对连续 

~ 一等价 


垂直 


«) 


/ = o(g) - lim 


= 0 


/ = O(g) — lim sup 


< oo 




9 


㈤ 


f ^ Q — lim 


比值丄自下与0分离，且自上与 oo 分离 


9 


9 


fog ——复合 

卜9 


卷积 





































